Kafka -- 初识
目录 kafka是什么 Topic Partition Broker Cousumer CousumerGroup Offset reblance broker 消息存储 Isr kafka是什么 Kafka 是一个分布式的消息引擎，能够发布和订阅消息流（类似于消息队列） 以容错的、持久的方式存储消息流 多分区概念，提高了并行能力。 架构如下图： Topic 消息的主题、队列，每一个消息都有它的 topic...
扫盲Kafka？看这一篇就够了！
kafka的使用场景为什么要使用 Kafka 消息队列？解耦、削峰：传统的方式上游发送数据下游需要实时接收，如果上游在某些业务场景：例如上午十点会流量激增至顶峰，那么下游资源可能会扛不住压力。但如果使用消息队列，就可以将消息暂存在消息管道中，下游可以按照自己的速度逐步处理；可扩展：通过横向扩展生产者、消费者和broker, Kafka可以轻松处理巨大的消息流；高吞吐、低延迟：在一台普通的服务器上既可...
使用 Apache Kafka 进行实时流处理
Apache Kafka 是一个开源分布式流处理平台，最初由 LinkedIn 开发，后来于 2011 年捐赠给 Apache。 我们可以将 Kafka 描述为一个文件集合，其中充满了分布在多台机器上的消息。大多数 Kafka 类比都围绕着将这些不同的单独日志捆绑在一起、将消息从生产者可靠地路由到消费者、进行复制以实现容错以及优雅地处理故障。其架构更多地继承了 HDFS、HBase 或 Cassandra ...
kafka学习笔记--节点的服役与退役
05。 [root@hadoop104 ~]# vim /etc/hostnamehadoop105 （4）重新启动 hadoop104、hadoop105。 （5）修改 haodoop105 中 kafka 的 broker.id 为 3。 （6）删除 hadoop105 中 kafka 下的 datas 和 logs。 [atguigu@hadoop105 kafka]$ rm -rf datas/*...
windows下安装配置kafka
一、安装zookeeper 在使用Kafka之前，通常需要先安装和配置ZooKeeper。ZooKeeper是Kafka的依赖项之一，它用于协调和管理Kafka集群的状态。 ZooKeeper是一个开源的分布式协调服务，它提供了可靠的数据存储和协调机制，用于协调分布式系统中的各个节点。Kafka使用ZooKeeper来存储和管理集群的元数据、配置信息和状态。 1.下载 官网地址： https://zooke...
kafka学习笔记--生产者消息发送及原理
发送的目的就一个，将消息发到kafka集群里，整体流程如下： 如上图，首先要有一个发送消息的主线程，也就是main线程，然后有一个读取数据的线程sender，所有的消息先经过拦截器（一般不用，因为大数据体系中，使用flume充当拦截器更加方便），然后抵达序列化器，最后抵达分区器，然后发送消息 分区器会在内存中，为每一个kafka分区创建一个双端队列，方便消息的管理，分区器大小为默认32M，每个队列在数据达...
kafka学习笔记--安装部署、简单操作
文章目录 1 安装部署1.1 集群规划1.2 集群部署 2 命令行操作2.1 主题2.2 生产者2.3 消费者2.4 消费者组 1 安装部署 1.1 集群规划 这里采用的是三节点的kafka集群，名称为hadoop102、hadoop103、hadoop104 1.2 集群部署 官方下载地址：http://kafka.apache.org/downloads.html 解压安装包tar -zxvf kaf...
使用 Kafka 和 Cassandra 构建实时异常检测实验
从异常检测算法必须克服的计算障碍到系统数据层技术必须满足的性能和可扩展性需求。在 Instaclustr，我们最近创建了一个纯粹的实验性异常检测应用程序（我们不销售异常检测），利用开源 Apache Kafka 和 Apache Cassandra 作为其数据层技术，然后从可扩展性、性能和性能方面分析了该架构的有效性。成本效益的角度。 构建异常检测管道 断点或变化点分析提供了一种执行简单类型的无监督异常检测...
Kafka 如何保证消息消费的全局顺序性
哈喽大家好，我是咸鱼今天我们继续来讲一讲 Kafka当有消息被生产出来的时候，如果没有指定分区或者指定 key ，那么消费会按照【轮询】的方式均匀地分配到所有可用分区中，但不一定按照分区顺序来分配 我们知道，在 Kafka 中消费者可以订阅一个或多个主题，并被分配一个或多个分区 如果一个消费者消费了多个分区，某些场景下消费者需要顺序地消费消息，但消息并不是按照顺序分配给分区的，所以就不一定能够保证消息消...
OGG将Oracle全量同步到kafka
文章目录 前言📣 1.部署环境✨ 1.1 架构规划✨ 1.2 服务规划 📣 2.Oracle相关配置✨ 2.1 参数调整✨ 2.2 新增用户 📣 3.kafka环境📣 4.OGG for Oracle✨ 4.1 创建身份证明✨ 4.2 添加表附加日志✨ 4.3 进程配置 📣 5.OGG for Bigdata✨ 5.1 配置主进程✨5.2 kafka端配置 📣 6.全量同步📣 7.Kafka确认 前言 近...