kafka 集群企业部署最佳实践
文章目录 前言📣 1.关于Kafka📣 2.环境准备✨ 2.1 节点规划✨ 2.2 防火墙及selinux✨ 2.3 配置主机名✨ 2.4 JDK环境 📣 3.zookeeper集群部署✨ 3.1 解压安装✨ 3.2 环境变量✨ 3.3 集群配置✨ 4.4 zookeeper管理 📣 4.kafka集群部署📣 5.kafka 运维✨ 5.1 kafka 命令✨ 5.2 kafka-eagle部署 前言 K...
在Go项目中二次封装Kafka客户端功能
1.摘要 在上一章节中,我利用Docker快速搭建了一个Kafka服务,并测试成功Kafka生产者和消费者功能,本章内容尝试在Go项目中对Kafka服务进行封装调用, 实现从Kafka自动接收消息并消费。 在本文中使用了Kafka的一个高性能开源库Sarama, Sarama是一个遵循MIT许可协议的Apache Kafka Go客户端库, 该开源库地址为:GitHub - IBM/sarama: Sara...
K8s - 安装部署Kafka、Zookeeper集群教程（支持从K8s外部访问）
本文演示如何在K8s集群下部署Kafka集群，并且搭建后除了可以K8s内部访问Kafka服务，也支持从K8s集群外部访问Kafka服务。服务的集群部署通常有两种方式：一种是 StatefulSet，另一种是 Service&Deployment。本次我们使用 StatefulSet 方式搭建 ZooKeeper 集群，使用 Service&Deployment 搭建 Kafka 集群。一、创建 NFS 存...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案
ect receiver_account,count(*) from tbname group by receiver_account; | 构建实时统计报表 技术方案 实时采集：Flume实时存储：Kafka实时计算：Flink实时结果：MySQL / Redis实时报表：FineBI / JavaWeb可视化 小结 了解实时计算需求及技术选型 17：Flink的基本介绍 目标：了解Flink的功能、特点...
Elasticsearch实践：ELK+Kafka+Beats对日志收集平台的实现
文章目录 1、关于ELK与BKELK1.1、ELK架构及其影响1.2、基于BKLEK架构的日志分析系统实现 2、利用ELK+Kafka+Beats来实现一个统一日志平台2.1、应用场景2.2、环境准备2.3、基于Docker的ES部署2.4、基于Docker的kibana部署2.5、基于Docker的Zookeeper部署2.6、基于Docker的Kafka部署2.7、基于Docker的Logstash部...
从一次Kafka宕机说起（JVM hang）
一、背景时间大概是在夏天7月份，突然收到小伙伴的情报，我们线上的一个kafka实例的某个broker突然不提供服务了，也没看到什么异常日志，反正就是生产、消费都停了。因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下 stack 信息，先重启吧因为这个现象是第一次出现，不确定是哪里的bug，操作系统、机器等都有可能。当时也没重视这个问题，判断可能是个偶发现象，broker重启恢复后，...
3台Centos7快速部署Kafka集群
首先，我要说，Kafka 是强依赖于 ZooKeeper 的，所以在设置 Kafka 集群之前，我们首先需要设置一个 ZooKeeper 集群。 部署ZooKeeper需要安装jdk yum install java-1.8.0-openjdk 安装完以后 下面是详细的步骤： 1. 安装和配置 ZooKeeper 集群 1.1 下载 ZooKeeper： cd /data1wget https://dl...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(三)离线分析
文章目录 08：离线分析：Hbase表设计及构建09：离线分析：Kafka消费者构建10：离线分析：Hbase连接构建11：离线分析：Rowkey的构建12：离线分析：Put数据列构建13：离线分析：存储运行测试14：离线分析：Hive关联测试15：离线分析：Phoenix关联测试 08：离线分析：Hbase表设计及构建 目标：掌握Hbase表的设计及创建表的实现 路径 step1：基础设计step2：R...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求
文章目录 Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01：课程回顾02：课程目标03：案例需求 Flume+Kafka+Hbase+Flink+FineBI的实时综合案例 01：课程回顾 Hbase如何解决非索引查询速度慢的问题？ 原因：Hbase以Rowkey作为唯一索引 现象：只要查询条件不是Rowkey前缀，不走索引 解决：构建二级索引 思想：自己建rowkey索引表...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(二)数据源
的即时查询 实时存储计算 提供实时统计分析 技术选型 离线 数据采集：Flume离线存储：Hbase离线分析：Hive：复杂计算即时查询：Phoenix：高效查询 实时 数据采集：Flume实时存储：Kafka实时计算：Flink实时应用：MySQL + FineBI 或者 Redis + JavaWeb可视化 技术架构 为什么不直接将Flume的数据给Hbase，而统一的给了Kafka，再由Kafka到H...