单节点部署kafka
主机：
kafka1:192.168.10.101
设置hosts文件
192.168.10.101 kafka1
1：安装zookeeper
root@kafka1 \~\]# yum -y install java \[root@kafka1 \~\]# tar zxvf apache-zookeeper-3.6.0-bin.tar.gz \[root@kafka1 \~\]# mv apache-zookeeper-3.6.0-bin /etc/zookeeper \[root@kafka1 \~\]# cd /etc/zookeeper/conf \[root@kafka1 conf\]# mv zoo_sample.cfg zoo.cfg \[root@kafka1 conf\]# vim zoo.cfg dataDir=/etc/zookeeper/zookeeper-data \[root@kafka1 conf\]# cd /etc/zookeeper/ \[root@kafka1 kafka\]# mkdir zookeeper-data \[root@kafka1 zookeeper\]# ./bin/zkServer.sh start \[root@kafka1 zookeeper\]# ./bin/zkServer.sh status ### 2：安装kafka \[root@kafka1 \~\]# tar zxvf kafka_2.13-2.4.1.tgz \[root@kafka1 \~\]# mv kafka_2.13-2.4.1 /etc/kafka \[root@kafka1 \~\]# cd /etc/kafka/ \[root@kafka1 kafka\]# vim config/server.properties log.dirs=/etc/kafka/kafka-logs #60行 \[root@kafka1 kafka\]# mkdir /etc/kafka/kafka-logs \[root@kafka1 kafka\]# bin/kafka-server-start.sh config/server.properties \& 检查两个端口的开启状态 \[root@kafka1 kafka\]# netstat -anpt \| grep 2181 \[root@kafka1 kafka\]# netstat -anpt \| grep 9092 注意：启动时先启动zookeeper，关闭时先关闭kafka 如果要关闭zookeeper \[root@kafka1 zookeeper\]# /etc/zookeeper/bin/zkServer.sh stop 如果要关闭kafka \[root@192 kafka\]# /etc/kafka/bin/kafka-server-stop.sh 如果关不了，就kill杀死该进程 ### 3：测试 #### 创建topic bin/kafka-topics.sh --create --zookeeper kafka1:2181 --replication-factor 1 --partitions 1 --topic test #### 列出topic bin/kafka-topics.sh --list --zookeeper kafka1:2181 #### 查看topic bin/kafka-topics.sh --describe --zookeeper kafka1:2181 --topic test #### 生产消息 bin/kafka-console-producer.sh --broker-list kafka1:9092 -topic test #### 消费消息（打开另一个终端，一边生产消息，一边查看消费消息） bin/kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic test #### 删除topic bin/kafka-topics.sh --delete --zookeeper kafka1:2181 --topic test ## 五：群集部署kafka ### 1：修改主机hosts文件（所有主机都配置） \[root@kafka1 \~\]# vim /etc/hosts 192.168.10.101 kafka1 192.168.10.102 kafka2 192.168.10.103 kafka3 ### 2：zookeeper的部署 #### （1）安装zookeeper（三个节点的配置相同） \[root@kafka1 \~\]# systemctl stop firewalld \[root@kafka1 \~\]# setenforce 0 \[root@kafka1 \~\]# yum -y install java \[root@kafka1 \~\]# tar zxvf apache-zookeeper-3.6.0-bin.tar.gz \[root@kafka1 \~\]# mv apache-zookeeper-3.6.0-bin /etc/zookeeper #### （2）创建数据保存目录（三个节点的配置相同） \[root@kafka1 \~\]# cd /etc/zookeeper/ \[root@kafka1 zookeeper\]# mkdir zookeeper-data #### （3）修改配置文件（三个节点的配置相同） \[root@kafka1 zookeeper\]# cd /etc/zookeeper/conf \[root@kafka1 \~\]# mv zoo_sample.cfg zoo.cfg \[root@kafka1 \~\]# vim zoo.cfg dataDir=/etc/zookeeper/zookeeper-data clientPort=2181 server.1=192.168.10.101:2888:3888 server.2=192.168.10.102:2888:3888 server.3=192.168.10.103:2888:3888 注释：zookeeper只用的端口 2181：对cline端提供服务 3888：选举leader使用 2888：集群内机器通讯使用（Leader监听此端口） #### （4）创建节点id文件（按server编号设置这个id，三个机器不同） 节点1： \[root@kafka1 conf\]# echo '1' \> /etc/zookeeper/zookeeper-data/myid 节点2： \[root@kafka2 conf\]# echo '2' \> /etc/zookeeper/zookeeper-data/myid 节点3： \[root@kafka3 conf\]# echo '3' \> /etc/zookeeper/zookeeper-data/myid #### （5）三个节点启动zookeeper进程 \[root@kafka1 conf\]# cd /etc/zookeeper/ \[root@kafka1 zookeeper\]# ./bin/zkServer.sh start \[root@kafka1 zookeeper\]# ./bin/zkServer.sh status ### 2：kafka的部署 #### （1）kafka的安装（三个节点的配置相同） \[root@kafka1 \~\]# tar zxvf kafka_2.13-2.4.1.tgz \[root@kafka1 \~\]# mv kafka_2.13-2.4.1 /etc/kafka #### （2）修改配置文件 \[root@kafka1 \~\]# cd /etc/kafka/ \[root@kafka2 kafka\]# vim config/server.properties broker.id=1 ##21行 修改，注意其他两个的id分别是2和3 listeners=PLAINTEXT://192.168.10.101:9092 #31行 修改，其他节点改成各自的IP地址 log.dirs=/etc/kafka/kafka-logs ## 60行 修改 num.partitions=1 ##65行 分片数量，不能超过节点数 zookeeper.connect=192.168.10.101:2181,192.168.10.102:2181,192.168.10.103:218 ##123行，填写集群中各节点的地址和端口 注释： 9092是kafka的监听端口 #### （3）创建日志目录（三个节点的配置相同） \[root@kafka1 kafka\]# mkdir /etc/kafka/kafka-logs #### （3）在所有kafka节点上执行开启命令，生成kafka群集（三个节点的配置相同） \[root@kafka1 kafka\]# ./bin/kafka-server-start.sh config/server.properties \& 如果启动不了，可以将/etc/kafka/kafka-logs中的数据清除再试试 ### 3：测试 #### 创建topic（任意一个节点） bin/kafka-topics.sh --create --zookeeper kafka1:2181 --replication-factor 1 --partitions 1 --topic test #### 列出topic（任意一个节点） bin/kafka-topics.sh --list --zookeeper kafka1:2181 bin/kafka-topics.sh --list --zookeeper kafka2:2181 bin/kafka-topics.sh --list --zookeeper kafka3:2181 #### 生产消息 bin/kafka-console-producer.sh --broker-list kafka1:9092 -topic test #### 消费消息 bin/kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic test #### 删除topic bin/kafka-topics.sh --delete --zookeeper kafka1:2181 --topic test ## 扩展：将logstash的信息输出到kafka中 \[root@logstash1 logstash\]# vim conf.d/beats.conf input { beats { port =\> "5044" codec =\> "json" } } output { kafka { bootstrap_servers =\> "192.168.10.101:9092,192.168.10.102:9092,192.168.10.103:9092" topic_id =\> "httpd-filebeat" batch_size =\> "5" codec =\> "json" } } 收集kafka的消息，并发送到ES \[root@logstash2 \~\]# vim /etc/logstash/conf.d/beats.conf input{ kafka { bootstrap_servers =\> "192.168.10.101:9092,192.168.10.102:9092,192.168.10.103:9092" topics =\> "httpd-filebeat" group_id =\> "systemlog-filebeat" decorate_events =\> true consumer_threads =\> 1 codec =\> "json" } } output{ elasticsearch { hosts =\> \["192.168.10.119:9200"
index => "weblog-beat-%{+YYYY.MM.dd}"
}
}
生产消息（任意一个节点）
bin/kafka-console-producer.sh --broker-list kafka1:9092 -topic test
消费消息（任意一个节点）
bin/kafka-console-consumer.sh --bootstrap-server kafka2:9092 --topic test
删除topic（任意一个节点）
bin/kafka-topics.sh --delete --zookeeper kafka1:2181 --topic test
重启kafka
/etc/kafka/bin/kafka-server-stop.sh
/etc/zookeeper/bin/zkServer.sh restart
/etc/kafka/bin/kafka-server-start.sh config/server.properties &
问题解决
错误提示：
Failed to acquire lock on file .lock in /tmp/kafka-logs. A Kafka instance in another process or thread is using this directory.
解决方法：
root@kafka1 kafka\]# rm -rf /tmp/kafka-logs/\* \[root@kafka1 kafka\]# netstat -lnp\|grep 9092 pkill杀死kafka的进程号 \[root@kafka2 kafka\]# ./bin/kafka-server-start.sh config/server.properties \&