Kafka连接器建立数据管道

1.概述

最近，有同学留言咨询Kafka连接器的相关内容，今天笔者给大家分享一下Kafka连接器建立数据管道的相关内容。

2.内容

Kafka连接器是一种用于Kafka系统和其他系统之间进行功能扩展、数据传输的工具。通过Kafka连接器能够简单、快速的将大量数据集移入到Kafka系统，或者从Kafka系统中移出，例如Kafka连接器可以低延时的将数据库或者应用服务器中的指标数据收集到Kafka系统主题中。
另外，Kafka连接器可以通过作业导出的方式，将Kafka系统主题传输到二次存储和查询系统中，或者传输到批处理系统中进行离线分析。

2.1 使用场景

Kafka连接器通常用来构建数据管道，一般来说有两种使用场景。
1. 开始和结束的端点
第一种，将Kafka系统作为数据管道的开始和结束的端点。例如，将Kafka系统主题中的数据移出到HBase数据库，或者把Oracle数据库中的数据移入到Kafka系统。

2. 数据传输的中间介质
第二种，把Kafka系统作为一个中间传输介质。例如，为了把海量日志数据存储到ElasticSearch中，可以先把这些日志数据传输到Kafka系统中，然后再从Kafka系统中将这些数据移出到ElasticSearch进行存储。

ElasticSearch是一个基于Lucene（Lucene是一款高性能、可扩展的信息检索工具库）实现的存储介质。它提供了一个分布式多用户能力的全文搜索引擎，基RESTful（一种软件架构风格、设计风格，但是并非标准，只是提供了一组设计原则和约束条件）接口实现。