Kafka学习笔记：Kafka环境搭建

Kafka环境搭建

Kafka单机环境搭建

安装必需

• jdk，这里使用的是jdk1.8
• scala，需要独立安装scala，这里使用的是scala 2.11.8
• zookeeper，Kafka会自带zk，但是最好使用独立的

安装步骤

1.将Kafka的tar包上传到测试环境，解压到/opt/software，配置环境变量

KAFKA_HOME=/opt/software/kafka_2.11-1.1.0/
PATH=$KAFKA_HOME/bin:$SCALA_HOME/bin:$PATH
export KAFKA_HOME
export SCALA_HOME
export PATH

2.配置Kafka的broker，配置文件在config/server.properties，修改以下参数为下面的值

broker.id = 0
listeners=PLAINTEXT://Hadoop01:9092
log.dirs = /tmp/kafka-logs
zookeeper.connect=Hadoop01:2181
num.partitions = 1
log.retention.hours = 168

broker.id：每个broker的唯一标识
listeners：要监听的地址和端口
log.dirs：Kafka的logsegment
zookeeper.connect：zookeeper集群信息，包括主机名和端口号，如果配置集群，需要每个节点的信息都加上，并用逗号隔开
num.partitions：每个topic默认的分区数，跟节点数相等，这里配单机所以设为1
log.retention.hours：logsegment保留的时间，默认是七天

3.启动测试
首先启动zookeeper：zkServer.sh start
启动Kafka：/opt/software/kafka_2.11-1.1.0/bin/kafka-server-start.sh /opt/software/kafka_2.11-1.1.0/config/server.properties &
创建Topic：/opt/software/kafka_2.11-1.1.0/bin/kafka-topics.sh --create --zookeeper hadoop111:2181 --replication-factor 1 --partitions 1 --topic singleServer
查看已经创建的Topic：/opt/software/kafka_2.11-1.1.0/bin/kafka-topics.sh --list --zookeeper hadoop111:2181

Kafka分布式环境搭建

以3个节点为例，每个节点上都需要解压kafka的压缩包，然后配置环境变量，这里就略过不讲了，每个节点的配置文件server.properties也是一样的，只有broker.id需要单独修改，因为每个节点需要有唯一的id号

配置好后启动ZooKeeper集群，在每一个节点上启动broker即可