Kafka消息队列
Kafka消息队列 Kafka消息队列一、概念1.1 消息队列一般有两种架构1.1.1 点对点模式1.1.2 发布/订阅者模式 二、架构2.1 生产者producer2.2 Kafka集群cluster2.2.1 Broker2.2.2 Topic2.2.3 Partition2.2.4 zookeeper 2.3 消费者Consumer2.4 消费者组Consumer Group 三、Kafka的安装3...
使用 Apache Kafka 进行发布-订阅通信中的微服务
同一消息。 发布订阅消息系统 可以将单个消息添加到主题，并且对于满足的每个订阅规则，消息的副本将添加到该订阅。在这种情况下，每个订阅都成为队列，消费者可以在队列中单独处理订阅上的消息。 Apache Kafka 是行业领导者正在使用的可靠且成熟的项目之一，它为我们提供了每秒处理大量消息的能力，而不是传统的消息系统，后者在传统场景中非常有用，但效率不高且价值不高在处理大数据场景时。 除了消息传递之外，Apac...
MQ - 11 Kafka的架构设计与实现
文章目录 导图 概述 Kafka 系统架构 协议和网络模块 数据存储 元数据存储 消息数据 生产者和消费者 生产者 消费者 HTTP 协议支持和管控操作 Kafka 从生产到消费的全过程 总结 导图 概述 在学习的过程中，我们会发现 Kafka 和 RocketMQ 的架构是非常像的，那为什么还要单独来分析 Kafka 呢？ 因为它们俩面对的场景是不一样的， 一个是消息场景、...
Kafka 杂谈
概览 什么是 Kafka？ 这里先给出结论，我不太希望在解释概念 X 的时候，说到「为了了解 X，我们需要先了解一下 Y」，阅读的人思绪会被迁到另一个地方。既然小标题里说了要解释什么是 Kafka，那么我们就只说什么是 Kafka。 专业点讲，Kafka 是一个开源的分布式事件流的平台。通俗点讲，Kafka 就是一个消息队列。 事件流的定义 怎么理解这个事件流呢？拿人来类比的话，你可以简单的把它理解成人的中...
spring-kafka中ContainerProperties.AckMode详解
来很夸张，不过这是真实的数据，线上错误的配置的确有可能导致性能有数量级上的差异，等我说完我们这个性能问题你就清楚了。 我们线上是对接了腾讯云的IOT平台，任何iot设备的上传事件都是通过腾讯云的ckafka传递给我们的，随着设备量以及事件数据量的增加，我们消费腾讯云ckafka出现了性能瓶颈，数据高峰期会有数据拥堵，从而因数据处理延迟导致业务的问题。解决最简单的方案就是扩partition和consum...
详解kafka中的消息日志文件：Topic消息分类、partition分区、segment分段、offset偏移量索引文件
一、Kafka简介 Kafka是一种高吞吐量的基于zookeeper协调的以集群的方式运行的分布式发布订阅消息系统，支持分区（partition）、多副本（replica），具有非常好的负载均衡能力和处理性能、容错能力。Kafka采用发布/订阅模型，消息生产者将消息发送到Kafka的消息中心（broker）中，然后消费者从中心中读取消息。其逻辑架构请见下图所示： Broker是 Kafka集群中的服务器节...
Kafka消息队列中关于消息的实现原理
文章目录 1.Kafka消息数据存储概念 2.消息的偏移量概念原理 3.消息数据的顺序消费概念原理 4.消息单播消费概念及实现 4.1.单播消费概念 4.2.单播消费实现 5.消息多播消费概念以及实现 5.1.多播消费概念 5.2.多播消费实现 6.查看消费组以及详细信息 7.Kafka中Topic主题和分区的概念 7.1.Topic主题概念 7.2.Topic中Partition分区概念 7.3.创建多...
【Flink实战】Flink对接Kafka Connetor使用docker部署kafka
目录导航 什么是DockerDocker常用命令Docker安装过程Docker部署kafka 什么是Docker Docker 是一个开源的容器化平台，用于将应用程序和其依赖的环境打包成一个独立的容器，以实现应用程序的快速部署、可移植性和可伸缩性。 0 传统的应用部署方式通常需要在目标环境中手动设置各种依赖项和配置，可能面临不同操作系统或软件版本之间的兼容性问题。而 Docker 可以通过容器的方式隔离...
【Flink实战系列】Hash collision on user-specified ID “Kafka Source”
Hash collision on user-specified ID “Kafka Source” 在使用 fromSource 构建 Kafka Source 的时候，遇到下面的报错，下面就走进源码，分析一下原因。 Exception in thread "main" java.lang.IllegalArgumentException: Hash collision on user-specifie...
RabbitMQ和Kafka的区别
RabbitMQ 和 Apache Kafka 是两种流行的消息传递系统，它们具有不同的设计目标和适用场景，以下是它们的主要区别： 消息传递模型： RabbitMQ：RabbitMQ 是一个传统的消息队列系统，采用了基于消息队列的发布-订阅模型。消息被发布到队列，然后被消费者按顺序处理。Kafka：Kafka 是一个分布式事件流平台，采用了发布-订阅日志模型。消息以持久化日志的方式存储，允许多个消费者以不...