kafka之java客户端实战
1. kafka的客户端 Kafka提供了两套客户端API，HighLevel API和LowLevel API。 HighLevel API封装了kafka的运行细节，使用起来比较简单，是企业开发过程中最常用的客户端API。 而LowLevel API则需要客户端自己管理Kafka的运行细节，Partition，Offset这些数据都由客户端自行管理。这层API功能更灵活，但是使用起来非常...
Kafka之集群搭建
1. 为什么要使用kafka集群 单机服务下，Kafka已经具备了非常高的性能。TPS能够达到百万级别。但是，在实际工作中使用时，单机搭建的Kafka会有很大的局限性。 消息太多，需要分开保存。Kafka是面向海量消息设计的，一个Topic下的消息会非常多，单机服务很难存得下来。这些消息就需要分成不同的Partition，分布到多个不同的Broker上。这样每个Broke...
2024.1.11 Kafka 消息队列,shell命令,核心原理
目录 一 . 消息队列 二. Kafka 三 . 启动命令 四 . Kafka的Shell 命令 五 . Kafka的核心原理 1. Topic的分区和副本机制 2 . 消息存储机制 和 查询机制 3. Kafka中生产者数据分发策略 六 . Kafka 之所以具有高速的读写性能，主要有以下几个原因 七. 笔记 一 . 消息队列 应用场景: 应用解耦合:类似单点故障 ...
kafka之集群工作机制理解
回想一下，我们搭建kafka集群是如何搭建？修改kafka得配置文件，多个Kafka服务注册到同一个zookeeper集群上的节点，会自动组成集群。 学习服务端原理，通常我们是去读服务端的那些抽象的代码，但是Kafka为了保证高吞吐，高性能，高可扩展的三高架构，很多具体设计都是相当复杂的。如果直接跳进去学习研究，估计我们很快就会晕头转向。那么有没有一些可见的东西让我们更具体的...
Kafka收发消息核心参数
Kafka收发消息核心参数 1.基础的客户端 利用maven简单尝试一下Kafka的代码 1.引入Maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.13</artifactId> <version>3.4.0</version></dependency> 2.消息发送者代码 public class ...
kafka学习笔记-- 文件清理策略与高效读写数据
文章目录 文件清理策略delete清理策略：将过期数据删除compact清理策略：将过期数据压缩 高效读写数据 文件清理策略 Kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。 ⚫ log.retention.hours，最低优先级小时，默认 7 天。 ⚫ log.retention.minutes，分钟。 ⚫ log.retention.ms，最高优先级毫秒。 ⚫ log.r...
kafka学习笔记--Kafka副本
节3.1 Follower故障处理细节3.2 Leader故障处理细节 4 分区副本分配5 手动调整分区副本存储6 Leader Partition 负载平衡7 增加副本因子 1 副本基本信息 （1）Kafka 副本作用：提高数据可靠性。 （2）Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率。 （3）Kafka 中副本分为：...
kafka学习笔记--Topic 数据的存储机制
来每个partition应对应于一个log文件，该log文件中存储的就是Producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每个partition分为多个segment。每个segment包括：“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下，该文件夹的命...
Kafka基础理论与常用命令详解（超详细）
文章目录 前言一、Kafka概述1. Kafka简介2. Kafka架构2.1 Broker（代理服务器）2.2 Topic（主题）2.3 Producer（生产者）2.4 Consumer（消费者）2.5 Consumer Group（消费者组） 3. Kafka特点3.1 高吞吐量3.2 持久性3.3 可扩展性3.4 实时性3.5 可靠性 4. Kafka应用场景4.1 实时数据流处理4.2 日志收集...
kafka学习笔记--基础知识概述
文章目录 Kafka 概述kafka定义消息队列传统消息队列应用场景消息队列的两种模式 kafka基础架构 Kafka 概述 kafka定义 Kafka传统定义： Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。 Kafka最新定义 ： Kafka是 一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司...