Kafka注册中心：揭秘分布式系统的核心协调者（一）
本系列文章简介： 本系列文章将深入探讨Kafka注册中心在分布式系统中的作用和价值，介绍其关键功能和使用场景，帮助读者更好地理解并应用Kafka注册中心来构建高效、可靠、可扩展的分布式系统。通过揭秘分布式系统的核心协调者，我们将一同探索Kafka注册中心如何助力分布式系统应对挑战，实现业务目标。欢迎大家订阅《Java技术栈高级攻略》专栏，一起学习，一起涨分！ 目录 一、引言 1.1 Kaf...
Kafka的消费流程
Kafka的消费全流程 我们接着继续去理解最后这条消息是如何被消费者消费掉的。其中最核心的有以下内容。 1、多线程安全问题 2、群组协调 3、分区再均衡 多线程安全问题 当多个线程访问某个类时，这个类始终都能表现出正确的行为，那么就称这个类是线程安全的。 对于线程安全，还可以进一步定义： 当多个线程访问某个类时，不管运行时环境采用何种调度方式或者这些线程将如何交替进行，并且在主调代码中不需要任何额外的同步...
Kafka - Topic 消费状态常用命令
新建 Topic ./kafka-topics --zookeeper 166.188.xx.xx --create --topic flink_source --partitions 1 --replication-factor 1 replication-factor：指定副本数量 partitions：指定分区 删除 Topic ./kafka-topics --zookeeper 166.188.x...
kafka之java客户端实战
1. kafka的客户端 Kafka提供了两套客户端API，HighLevel API和LowLevel API。 HighLevel API封装了kafka的运行细节，使用起来比较简单，是企业开发过程中最常用的客户端API。 而LowLevel API则需要客户端自己管理Kafka的运行细节，Partition，Offset这些数据都由客户端自行管理。这层API功能更灵活，但是使用起来非常...
Kafka之集群搭建
1. 为什么要使用kafka集群 单机服务下，Kafka已经具备了非常高的性能。TPS能够达到百万级别。但是，在实际工作中使用时，单机搭建的Kafka会有很大的局限性。 消息太多，需要分开保存。Kafka是面向海量消息设计的，一个Topic下的消息会非常多，单机服务很难存得下来。这些消息就需要分成不同的Partition，分布到多个不同的Broker上。这样每个Broke...
2024.1.11 Kafka 消息队列,shell命令,核心原理
目录 一 . 消息队列 二. Kafka 三 . 启动命令 四 . Kafka的Shell 命令 五 . Kafka的核心原理 1. Topic的分区和副本机制 2 . 消息存储机制 和 查询机制 3. Kafka中生产者数据分发策略 六 . Kafka 之所以具有高速的读写性能，主要有以下几个原因 七. 笔记 一 . 消息队列 应用场景: 应用解耦合:类似单点故障 ...
kafka之集群工作机制理解
回想一下，我们搭建kafka集群是如何搭建？修改kafka得配置文件，多个Kafka服务注册到同一个zookeeper集群上的节点，会自动组成集群。 学习服务端原理，通常我们是去读服务端的那些抽象的代码，但是Kafka为了保证高吞吐，高性能，高可扩展的三高架构，很多具体设计都是相当复杂的。如果直接跳进去学习研究，估计我们很快就会晕头转向。那么有没有一些可见的东西让我们更具体的...
Kafka收发消息核心参数
Kafka收发消息核心参数 1.基础的客户端 利用maven简单尝试一下Kafka的代码 1.引入Maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.13</artifactId> <version>3.4.0</version></dependency> 2.消息发送者代码 public class ...
kafka学习笔记-- 文件清理策略与高效读写数据
文章目录 文件清理策略delete清理策略：将过期数据删除compact清理策略：将过期数据压缩 高效读写数据 文件清理策略 Kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。 ⚫ log.retention.hours，最低优先级小时，默认 7 天。 ⚫ log.retention.minutes，分钟。 ⚫ log.retention.ms，最高优先级毫秒。 ⚫ log.r...
kafka学习笔记--Kafka副本
节3.1 Follower故障处理细节3.2 Leader故障处理细节 4 分区副本分配5 手动调整分区副本存储6 Leader Partition 负载平衡7 增加副本因子 1 副本基本信息 （1）Kafka 副本作用：提高数据可靠性。 （2）Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率。 （3）Kafka 中副本分为：...