2024.1.11 Kafka 消息队列,shell命令,核心原理
目录 一 . 消息队列 二. Kafka 三 . 启动命令 四 . Kafka的Shell 命令 五 . Kafka的核心原理 1. Topic的分区和副本机制 2 . 消息存储机制 和 查询机制 3. Kafka中生产者数据分发策略 六 . Kafka 之所以具有高速的读写性能，主要有以下几个原因 七. 笔记 一 . 消息队列 应用场景: 应用解耦合:类似单点故障 ...
kafka之集群工作机制理解
回想一下，我们搭建kafka集群是如何搭建？修改kafka得配置文件，多个Kafka服务注册到同一个zookeeper集群上的节点，会自动组成集群。 学习服务端原理，通常我们是去读服务端的那些抽象的代码，但是Kafka为了保证高吞吐，高性能，高可扩展的三高架构，很多具体设计都是相当复杂的。如果直接跳进去学习研究，估计我们很快就会晕头转向。那么有没有一些可见的东西让我们更具体的...
Kafka收发消息核心参数
Kafka收发消息核心参数 1.基础的客户端 利用maven简单尝试一下Kafka的代码 1.引入Maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.13</artifactId> <version>3.4.0</version></dependency> 2.消息发送者代码 public class ...
kafka学习笔记-- 文件清理策略与高效读写数据
文章目录 文件清理策略delete清理策略：将过期数据删除compact清理策略：将过期数据压缩 高效读写数据 文件清理策略 Kafka 中默认的日志保存时间为 7 天，可以通过调整如下参数修改保存时间。 ⚫ log.retention.hours，最低优先级小时，默认 7 天。 ⚫ log.retention.minutes，分钟。 ⚫ log.retention.ms，最高优先级毫秒。 ⚫ log.r...
kafka学习笔记--Kafka副本
节3.1 Follower故障处理细节3.2 Leader故障处理细节 4 分区副本分配5 手动调整分区副本存储6 Leader Partition 负载平衡7 增加副本因子 1 副本基本信息 （1）Kafka 副本作用：提高数据可靠性。 （2）Kafka 默认副本 1 个，生产环境一般配置为 2 个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率。 （3）Kafka 中副本分为：...
kafka学习笔记--Topic 数据的存储机制
来每个partition应对应于一个log文件，该log文件中存储的就是Producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每个partition分为多个segment。每个segment包括：“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下，该文件夹的命...
Kafka基础理论与常用命令详解（超详细）
文章目录 前言一、Kafka概述1. Kafka简介2. Kafka架构2.1 Broker（代理服务器）2.2 Topic（主题）2.3 Producer（生产者）2.4 Consumer（消费者）2.5 Consumer Group（消费者组） 3. Kafka特点3.1 高吞吐量3.2 持久性3.3 可扩展性3.4 实时性3.5 可靠性 4. Kafka应用场景4.1 实时数据流处理4.2 日志收集...
kafka学习笔记--基础知识概述
文章目录 Kafka 概述kafka定义消息队列传统消息队列应用场景消息队列的两种模式 kafka基础架构 Kafka 概述 kafka定义 Kafka传统定义： Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。 Kafka最新定义 ： Kafka是 一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司...
Kafka -- 初识
目录 kafka是什么 Topic Partition Broker Cousumer CousumerGroup Offset reblance broker 消息存储 Isr kafka是什么 Kafka 是一个分布式的消息引擎，能够发布和订阅消息流（类似于消息队列） 以容错的、持久的方式存储消息流 多分区概念，提高了并行能力。 架构如下图： Topic 消息的主题、队列，每一个消息都有它的 topic...
扫盲Kafka？看这一篇就够了！
kafka的使用场景为什么要使用 Kafka 消息队列？解耦、削峰：传统的方式上游发送数据下游需要实时接收，如果上游在某些业务场景：例如上午十点会流量激增至顶峰，那么下游资源可能会扛不住压力。但如果使用消息队列，就可以将消息暂存在消息管道中，下游可以按照自己的速度逐步处理；可扩展：通过横向扩展生产者、消费者和broker, Kafka可以轻松处理巨大的消息流；高吞吐、低延迟：在一台普通的服务器上既可...