【Kafka】Kafka快速实战与基本原理详解
Kafka基本概念 kafka是一个分布式的，分区的消息(官方称之为 commit log )服务。首先，让我们来看一下基础的消息( Message )相关术语： 因此，从一个较高的层面上来看，producer通过网络发送消息到Kafka集群，然后consumer来进行消费，服务端(brokers)和客户端(producer、consumer)之间通信通过TCP协议 来完成。...
老项目接入kafka消费信息另一种方式
前言 这次跟大家分享kafka消费的另一种接入实现。其实原因是因为目前这个项目的框架太老了，springboot还是1.5的，直接用注解@KafkaListener无法消费的问题。我也不想调这个框架，没工时不说，万一再整出兼容性问题，那问题就大了，而且现在时间太赶了。 一、目标场景 目前是物联网设备的流水上报后，会存ES，同时经过物模型解析后，会往下游kafka推送信息。下游系统接收kafk...
kafka-eagle 配置文件修改使用自带的数据库
###################################### multi zookeeper & kafka cluster list Settings prefixed with ‘kafka.eagle.’ will be deprecated, use ‘efak.’ instead ###################################### efak.zk.clu...
【Flink connector】文件系统 SQL 连接器：实时写文件系统以及（kafka到hive）实战举例
. 分区提交策略 （分区创建后怎么告知下游或系统）3.1. 逻辑说明3.2. 举例说明 4. Sink Parallelism 三. 完整示例1. 官网（partition-time）2. 实际测试（kafka->hive） 本文概述 文件系统连接器支持流写入，是基于 Flink 的 文件系统 写入文件的。 我们可以直接编写 SQL，将流数据插入到非分区表。 如果是分区表，可以配置分区操作相关的属性。具...
Kafka整理-Kafka与传统消息队列系统（如RabbitMQ, ActiveMQ）的区别是什么？
Apache Kafka与传统消息队列系统（如RabbitMQ, ActiveMQ）虽然都是处理消息和数据流的中间件，但它们在设计理念、架构、功能和使用场景方面有显著的区别。下面是Kafka与传统消息队列系统的主要区别： 1. 设计目的和使用场景 Kafka： 设计初衷是为处理大量的实时数据流。 强调高吞吐量、分布式处理和数据持久性。 适用于日志聚合、事件源、实时监控和流处理等场景。 传统消息队列（如Ra...
Kafka 技术指南：使用、特性、一致性保证与 Golang 中间件应用（上）
概述 Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据流管道和流式应用程序。它具有高吞吐量、可扩展性和持久性等特点，广泛应用于大数据处理、日志聚合、事件源等场景。本文档将介绍 Kafka 的基本使用、核心特性、消息一致性保证机制，以及在 Golang 语言中的中间件应用。 Kafka 核心特性 高吞吐量：Kafka 能够处理大量的实时数据流。持久化存储：消息持久化在磁盘上，支持数据的...
Kafka整理-安全性控制机制
Apache Kafka提供了多种安全性控制机制，以确保数据传输和访问的安全性。这些安全控制不仅有助于保护数据免受未经授权的访问，还可以保证数据在传输过程中的安全和完整性。以下是Kafka安全性控制的主要方面： 1、认证 SSL/TLS：用于客户端和Broker之间的通信。它可以加密通信，以防止数据在传输过程中被窃取或篡改。 SASL（Simple Authentication and Security ...
Kafka整理-Kafka Streams
Apache Kafka Streams是一个客户端库，用于构建可扩展、高性能、容错的实时流处理应用程序。它是Apache Kafka的一个组成部分，专为处理和分析Kafka中的数据流设计。以下是Kafka Streams的一些关键特性和概念： 主要特性 1、简化流处理： Kafka Streams提供了一个简单的API，使得开发者可以方便地编写流处理应用程序。 2、无需单独的处理集群： 不像其他流处理框...
Kafka整理-分区（Partition）机制
Apache Kafka的分区机制是其核心特性之一，它允许Kafka实现高吞吐量和水平扩展。以下是Kafka分区机制的关键方面： 什么是分区（Partition）？ 1、基本概念： 在Kafka中，分区是主题（Topic）的子集，每个主题可以被分割成多个分区。 分区允许将数据分布在多个服务器（Broker）上，这样可以提高数据的处理能力和并行性。 2、数据存储： 每个分区在物理上是一个有序、不可变的消息序...
Kafka整理-高可用性和容错性
在Apache Kafka中，高可用性和容错性是其核心设计目标之一。Kafka采用了多种机制来确保即使在面临硬件故障、网络问题或其他系统故障时，也能保持稳定的服务和数据的完整性。以下是Kafka实现高可用性和容错性的主要机制： 1、 数据复制（Replication） 分区副本：Kafka中的每个分区都可以有一个或多个副本，这些副本分布在不同的Broker上。 领导者和追随者：每个分区有一个领导者（Lea...