K8s - 安装部署Kafka、Zookeeper集群教程（支持从K8s外部访问）
本文演示如何在K8s集群下部署Kafka集群，并且搭建后除了可以K8s内部访问Kafka服务，也支持从K8s集群外部访问Kafka服务。服务的集群部署通常有两种方式：一种是 StatefulSet，另一种是 Service&Deployment。本次我们使用 StatefulSet 方式搭建 ZooKeeper 集群，使用 Service&Deployment 搭建 Kafka 集群。一、创建 NFS 存...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案
ect receiver_account,count(*) from tbname group by receiver_account; | 构建实时统计报表 技术方案 实时采集：Flume实时存储：Kafka实时计算：Flink实时结果：MySQL / Redis实时报表：FineBI / JavaWeb可视化 小结 了解实时计算需求及技术选型 17：Flink的基本介绍 目标：了解Flink的功能、特点...
Elasticsearch实践：ELK+Kafka+Beats对日志收集平台的实现
文章目录 1、关于ELK与BKELK1.1、ELK架构及其影响1.2、基于BKLEK架构的日志分析系统实现 2、利用ELK+Kafka+Beats来实现一个统一日志平台2.1、应用场景2.2、环境准备2.3、基于Docker的ES部署2.4、基于Docker的kibana部署2.5、基于Docker的Zookeeper部署2.6、基于Docker的Kafka部署2.7、基于Docker的Logstash部...
从一次Kafka宕机说起（JVM hang）
一、背景时间大概是在夏天7月份，突然收到小伙伴的情报，我们线上的一个kafka实例的某个broker突然不提供服务了，也没看到什么异常日志，反正就是生产、消费都停了。因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下 stack 信息，先重启吧因为这个现象是第一次出现，不确定是哪里的bug，操作系统、机器等都有可能。当时也没重视这个问题，判断可能是个偶发现象，broker重启恢复后，...
3台Centos7快速部署Kafka集群
首先，我要说，Kafka 是强依赖于 ZooKeeper 的，所以在设置 Kafka 集群之前，我们首先需要设置一个 ZooKeeper 集群。 部署ZooKeeper需要安装jdk yum install java-1.8.0-openjdk 安装完以后 下面是详细的步骤： 1. 安装和配置 ZooKeeper 集群 1.1 下载 ZooKeeper： cd /data1wget https://dl...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(三)离线分析
文章目录 08：离线分析：Hbase表设计及构建09：离线分析：Kafka消费者构建10：离线分析：Hbase连接构建11：离线分析：Rowkey的构建12：离线分析：Put数据列构建13：离线分析：存储运行测试14：离线分析：Hive关联测试15：离线分析：Phoenix关联测试 08：离线分析：Hbase表设计及构建 目标：掌握Hbase表的设计及创建表的实现 路径 step1：基础设计step2：R...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求
文章目录 Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01：课程回顾02：课程目标03：案例需求 Flume+Kafka+Hbase+Flink+FineBI的实时综合案例 01：课程回顾 Hbase如何解决非索引查询速度慢的问题？ 原因：Hbase以Rowkey作为唯一索引 现象：只要查询条件不是Rowkey前缀，不走索引 解决：构建二级索引 思想：自己建rowkey索引表...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(二)数据源
的即时查询 实时存储计算 提供实时统计分析 技术选型 离线 数据采集：Flume离线存储：Hbase离线分析：Hive：复杂计算即时查询：Phoenix：高效查询 实时 数据采集：Flume实时存储：Kafka实时计算：Flink实时应用：MySQL + FineBI 或者 Redis + JavaWeb可视化 技术架构 为什么不直接将Flume的数据给Hbase，而统一的给了Kafka，再由Kafka到H...
Kafka消息队列
Kafka消息队列 Kafka消息队列一、概念1.1 消息队列一般有两种架构1.1.1 点对点模式1.1.2 发布/订阅者模式 二、架构2.1 生产者producer2.2 Kafka集群cluster2.2.1 Broker2.2.2 Topic2.2.3 Partition2.2.4 zookeeper 2.3 消费者Consumer2.4 消费者组Consumer Group 三、Kafka的安装3...
使用 Apache Kafka 进行发布-订阅通信中的微服务
同一消息。 发布订阅消息系统 可以将单个消息添加到主题，并且对于满足的每个订阅规则，消息的副本将添加到该订阅。在这种情况下，每个订阅都成为队列，消费者可以在队列中单独处理订阅上的消息。 Apache Kafka 是行业领导者正在使用的可靠且成熟的项目之一，它为我们提供了每秒处理大量消息的能力，而不是传统的消息系统，后者在传统场景中非常有用，但效率不高且价值不高在处理大数据场景时。 除了消息传递之外，Apac...