前言
用三台虚拟机centos7 搭建高可用集群，及测试方法
高可用搭建的方法，参考：https://blog.csdn.net/u011197085/article/details/134070318
高可用搭建
1、安装配置zookeeper集群
下载zookeeper
注：zookeeper链接如果失效，就去网站https://dlcdn.apache.org找有效网址
cd /data1
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
解压缩
tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
mv apache-zookeeper-3.8.3-bin /data1/zookeeper
创建唯一id
mkdir /data1/zookeeper_data
echo "1" > /data1/zookeeper_data/myid # 对于第二台机器为2，第三台为3
编辑zookeeper配置文件
cd /data1/kafka/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
添加/修改如下内容
dataDir=/data1/zookeeper_data
clientPort=2181
initLimit=10
syncLimit=5
tickTime=2000
server.1=192.168.25.119:2888:3888
server.2=192.142.25.120:2888:3888
server.3=192.142.25.121:2888:3888
安装配置kafka集群
下载 Kafka
注：kakka链接如果失效，就去网站https://downloads.apache.org找有效网址
cd /data1
wget https://downloads.apache.org/kafka/3.6.2/kafka_2.13-3.6.2.tgz
解压缩
tar -zxvf kafka_2.13-3.6.2.tgz
mv kafka_2.13-3.6.2 /data1/kafka/kafka
编辑kafka的配置文件
cd /data1/kafka/kafka/config
vi server.properties
修改/添加如下内容
broker.id=1 # 对于第二台机器为2，第三台为3
zookeeper.connect=192.142.25.119:2181,192.142.25.120:2181,192.142.25.121:2181
log.dirs=/data1/kafka/kafka-logs
listeners=PLAINTEXT://{ip}:9092
启动zookeeper和kafka集群
# 启动 ZooKeeper（先把3台的zookeeper都启动，再分别启动kafka）
/data1/kafka/zookeeper/bin/zkServer.sh start
# 启动 Kafka
/data1/kafka/kafka/bin/kafka-server-start.sh /data1/kafka/kafka/config/server.properties &
测试集群
测试集群是否搭建成功、节点是否成功
./bin/zkCli.sh
ls /brokers/ids
测试topic是否发布成功
在1个节点上面发布消息，然后在其它节点查看消息
发布主题
kafka/bin/kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 3 --bootstrap-server 192.142.25.119:9092
查看主题
kafka/bin/kafka-topics.sh --bootstrap-server 192.142.25.119:9092 --list
成功的话，在每个节点上，都可以查看到test-topic