【Flink connector】文件系统 SQL 连接器：实时写文件系统以及（kafka到hive）实战举例
. 分区提交策略 （分区创建后怎么告知下游或系统）3.1. 逻辑说明3.2. 举例说明 4. Sink Parallelism 三. 完整示例1. 官网（partition-time）2. 实际测试（kafka->hive） 本文概述 文件系统连接器支持流写入，是基于 Flink 的 文件系统 写入文件的。 我们可以直接编写 SQL，将流数据插入到非分区表。 如果是分区表，可以配置分区操作相关的属性。具...
Kafka整理-Kafka与传统消息队列系统（如RabbitMQ, ActiveMQ）的区别是什么？
Apache Kafka与传统消息队列系统（如RabbitMQ, ActiveMQ）虽然都是处理消息和数据流的中间件，但它们在设计理念、架构、功能和使用场景方面有显著的区别。下面是Kafka与传统消息队列系统的主要区别： 1. 设计目的和使用场景 Kafka： 设计初衷是为处理大量的实时数据流。 强调高吞吐量、分布式处理和数据持久性。 适用于日志聚合、事件源、实时监控和流处理等场景。 传统消息队列（如Ra...
Kafka 技术指南：使用、特性、一致性保证与 Golang 中间件应用（上）
概述 Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据流管道和流式应用程序。它具有高吞吐量、可扩展性和持久性等特点，广泛应用于大数据处理、日志聚合、事件源等场景。本文档将介绍 Kafka 的基本使用、核心特性、消息一致性保证机制，以及在 Golang 语言中的中间件应用。 Kafka 核心特性 高吞吐量：Kafka 能够处理大量的实时数据流。持久化存储：消息持久化在磁盘上，支持数据的...
Kafka整理-安全性控制机制
Apache Kafka提供了多种安全性控制机制，以确保数据传输和访问的安全性。这些安全控制不仅有助于保护数据免受未经授权的访问，还可以保证数据在传输过程中的安全和完整性。以下是Kafka安全性控制的主要方面： 1、认证 SSL/TLS：用于客户端和Broker之间的通信。它可以加密通信，以防止数据在传输过程中被窃取或篡改。 SASL（Simple Authentication and Security ...
Kafka整理-Kafka Streams
Apache Kafka Streams是一个客户端库，用于构建可扩展、高性能、容错的实时流处理应用程序。它是Apache Kafka的一个组成部分，专为处理和分析Kafka中的数据流设计。以下是Kafka Streams的一些关键特性和概念： 主要特性 1、简化流处理： Kafka Streams提供了一个简单的API，使得开发者可以方便地编写流处理应用程序。 2、无需单独的处理集群： 不像其他流处理框...
Kafka整理-分区（Partition）机制
Apache Kafka的分区机制是其核心特性之一，它允许Kafka实现高吞吐量和水平扩展。以下是Kafka分区机制的关键方面： 什么是分区（Partition）？ 1、基本概念： 在Kafka中，分区是主题（Topic）的子集，每个主题可以被分割成多个分区。 分区允许将数据分布在多个服务器（Broker）上，这样可以提高数据的处理能力和并行性。 2、数据存储： 每个分区在物理上是一个有序、不可变的消息序...
Kafka整理-高可用性和容错性
在Apache Kafka中，高可用性和容错性是其核心设计目标之一。Kafka采用了多种机制来确保即使在面临硬件故障、网络问题或其他系统故障时，也能保持稳定的服务和数据的完整性。以下是Kafka实现高可用性和容错性的主要机制： 1、 数据复制（Replication） 分区副本：Kafka中的每个分区都可以有一个或多个副本，这些副本分布在不同的Broker上。 领导者和追随者：每个分区有一个领导者（Lea...
Kafka整理-Consumer Group（消费者群组）
在Apache Kafka中，消费者群组（Consumer Group）是一种强大的机制，用于实现消息的分发和负载均衡。以下是消费者群组的关键概念和工作原理： 消费者群组的基本概念 1、组成： 消费者群组由一系列的消费者（Consumers）组成，这些消费者共同订阅一个或多个主题（Topics）。 2、消息分发： Kafka确保一个分区（Partition）内的消息只被消费者群组中的一个消费者消费，这样可...
查看kafka消息消费堆积情况
查看主题命令 展示topic列表 ./kafka-topics.sh --list --zookeeper zookeeper_ip:2181 描述topic ./kafka-topics.sh --describe --zookeeper zookeeper_ip:2181 --topic topic_name 查看topic某分区偏移量最大（小）值 ./kafka-run-class.sh kafka...
Kafka整理-Consumer（消费者）
在Apache Kafka中，消费者（Consumer）是负责从Kafka的主题（Topics）读取数据的客户端应用程序。Kafka消费者的主要特点和工作原理如下： 主要特点 1、订阅主题： 消费者可以订阅一个或多个Kafka主题，并从中读取数据。 2、消费者群组（Consumer Groups）： 消费者可以组成消费者群组。在一个群组中，每个分区的消息只会被群组中的一个消费者读取，这样可以在群组成员之间...