centos7 kafka高可用集群安装及测试

mpb2024-11-06 12:23

前言

用三台虚拟机centos7 搭建高可用集群，及测试方法

高可用搭建的方法，参考：https://blog.csdn.net/u011197085/article/details/134070318

高可用搭建

1、安装配置zookeeper集群

下载zookeeper

注：zookeeper链接如果失效，就去网站https://dlcdn.apache.org找有效网址

复制代码

cd /data1
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz

解压缩

复制代码

tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
mv apache-zookeeper-3.8.3-bin /data1/zookeeper

创建唯一id

复制代码

mkdir /data1/zookeeper_data
echo "1" > /data1/zookeeper_data/myid # 对于第二台机器为2，第三台为3

编辑zookeeper配置文件

复制代码

cd /data1/kafka/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

添加/修改如下内容

复制代码

dataDir=/data1/zookeeper_data
clientPort=2181
initLimit=10
syncLimit=5
tickTime=2000
server.1=192.168.25.119:2888:3888
server.2=192.142.25.120:2888:3888
server.3=192.142.25.121:2888:3888

安装配置kafka集群

下载 Kafka

注：kakka链接如果失效，就去网站https://downloads.apache.org找有效网址

复制代码

cd /data1
wget https://downloads.apache.org/kafka/3.6.2/kafka_2.13-3.6.2.tgz

解压缩

复制代码

tar -zxvf kafka_2.13-3.6.2.tgz
mv kafka_2.13-3.6.2 /data1/kafka/kafka

编辑kafka的配置文件

复制代码

cd /data1/kafka/kafka/config
vi server.properties

修改/添加如下内容

复制代码

broker.id=1 # 对于第二台机器为2，第三台为3
zookeeper.connect=192.142.25.119:2181,192.142.25.120:2181,192.142.25.121:2181
log.dirs=/data1/kafka/kafka-logs
listeners=PLAINTEXT://{ip}:9092

启动zookeeper和kafka集群

复制代码

# 启动 ZooKeeper（先把3台的zookeeper都启动，再分别启动kafka）
/data1/kafka/zookeeper/bin/zkServer.sh start

# 启动 Kafka
/data1/kafka/kafka/bin/kafka-server-start.sh /data1/kafka/kafka/config/server.properties &

测试集群

测试集群是否搭建成功、节点是否成功

复制代码

./bin/zkCli.sh
ls /brokers/ids

测试topic是否发布成功

复制代码

在1个节点上面发布消息，然后在其它节点查看消息
发布主题
kafka/bin/kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 3 --bootstrap-server 192.142.25.119:9092

查看主题
kafka/bin/kafka-topics.sh --bootstrap-server 192.142.25.119:9092 --list

成功的话，在每个节点上，都可以查看到test-topic