centos7 kafka高可用集群安装及测试

前言

用三台虚拟机centos7 搭建高可用集群,及测试方法

高可用搭建的方法,参考:https://blog.csdn.net/u011197085/article/details/134070318

高可用搭建

1、安装配置zookeeper集群

下载zookeeper

注:zookeeper链接如果失效,就去网站https://dlcdn.apache.org找有效网址

复制代码
cd /data1
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz 

解压缩

复制代码
tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz
mv apache-zookeeper-3.8.3-bin /data1/zookeeper

创建唯一id

复制代码
mkdir /data1/zookeeper_data
echo "1" > /data1/zookeeper_data/myid # 对于第二台机器为2,第三台为3

编辑zookeeper配置文件

复制代码
cd /data1/kafka/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

添加/修改如下内容

复制代码
dataDir=/data1/zookeeper_data
clientPort=2181
initLimit=10
syncLimit=5
tickTime=2000
server.1=192.168.25.119:2888:3888
server.2=192.142.25.120:2888:3888
server.3=192.142.25.121:2888:3888

安装配置kafka集群

下载 Kafka

注:kakka链接如果失效,就去网站https://downloads.apache.org找有效网址

复制代码
cd /data1
wget https://downloads.apache.org/kafka/3.6.2/kafka_2.13-3.6.2.tgz

解压缩

复制代码
tar -zxvf kafka_2.13-3.6.2.tgz
mv kafka_2.13-3.6.2 /data1/kafka/kafka

编辑kafka的配置文件

复制代码
cd /data1/kafka/kafka/config
vi server.properties

修改/添加如下内容

复制代码
broker.id=1 # 对于第二台机器为2,第三台为3
zookeeper.connect=192.142.25.119:2181,192.142.25.120:2181,192.142.25.121:2181
log.dirs=/data1/kafka/kafka-logs
listeners=PLAINTEXT://{ip}:9092

启动zookeeper和kafka集群

复制代码
# 启动 ZooKeeper(先把3台的zookeeper都启动,再分别启动kafka)
/data1/kafka/zookeeper/bin/zkServer.sh start

# 启动 Kafka
/data1/kafka/kafka/bin/kafka-server-start.sh /data1/kafka/kafka/config/server.properties &

测试集群

测试集群是否搭建成功、节点是否成功

复制代码
./bin/zkCli.sh
ls /brokers/ids

测试topic是否发布成功

复制代码
在1个节点上面发布消息,然后在其它节点查看消息
发布主题
kafka/bin/kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 3 --bootstrap-server 192.142.25.119:9092

查看主题
kafka/bin/kafka-topics.sh --bootstrap-server 192.142.25.119:9092 --list

成功的话,在每个节点上,都可以查看到test-topic
相关推荐
哈基米喜欢哈哈哈4 分钟前
Kafka复制机制
笔记·分布式·后端·kafka
孫治AllenSun39 分钟前
【Kafka】重点概念和架构总结
分布式·架构·kafka
3Cloudream1 小时前
互联网大厂Java面试深度解析:从基础到微服务云原生的全场景模拟
java·spring boot·redis·elasticsearch·微服务·kafka·电商架构
Hello.Reader1 天前
Kafka 4.0 从零到一8 步快速上手 + 实战要点与避坑
分布式·kafka
neoooo1 天前
Spring Boot 3 + Kafka 实战指南
java·spring boot·kafka
武子康1 天前
大数据-79 Kafka 监控从入门到实战:度量体系、JMX采集与可视化告警全流程 Prometheus、Kafka Eagle
大数据·后端·kafka
smileNicky2 天前
Kafka 为什么具有高吞吐量的特性?
分布式·kafka
Hello.Reader2 天前
Kafka 在 6 大典型用例的落地实践架构、参数与避坑清单
数据库·架构·kafka
wuxingge2 天前
kafka常用命令
kafka