kafka集群配置

kafka版本: kafka_2.12-2.8.0

1.解压

root@node1 software# tar -zxf kafka_2.12-2.8.0.tgz -C /opt/module/

2.修改环境变量

root@node1 software# vim /etc/profile

3.修改文件名

root@node1 module# mv kafka_2.12-2.8.0/ kafka212

4.进入config文件夹,修改server.properties文件

root@node1 config# vim ./server.properties

21 broker.id=0

36 advertised.listeners=PLAINTEXT://192.168.153.136:9092

60 log.dirs=/opt/module/kafka212/kfkdata

103 log.retention.hours=1680

123 zookeeper.connect=192.168.153.136:2181,192.168.153.137:2181,192.168.153.138:2181

127 delete.topic.enable=true

5.在Kafka212文件夹下创建kfkdata文件夹

root@node1 kafka212# mkdir kfkdata

6.分发Kafka和profile文件

root@node1 kafka212# scp -r /opt/module/kafka212/ root@node2:/opt/module/

root@node1 kafka212# scp -r /opt/module/kafka212/ root@node3:/opt/module/

root@node1 kafka212# scp /etc/profile root@node2:/etc/profile

root@node1 kafka212# scp /etc/profile root@node3:/etc/profile

7.root@node1 kafka212# source /etc/profile

8.启动zookeeper服务

zkServer.sh start

9.启动Kafka服务

nohup kafka-server-start.sh /opt/module/kafka212/config/server.properties &

10.创建topic

kafka-topics.sh --create --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb --partitions 3 --replication-factor 3

11.查看指定topic的详细信息

kafka-topics.sh --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb

12.查看topic的offset(偏移量)

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.153.136:9092 --topic njzb

13.通过控制台发送消息

kafka-console-producer.sh --bootstrap-server 192.168.153.136:9092 --topic njzb

14.通过控制台订阅并接收消息

kafka-console-consumer.sh --bootstrap-server 192.168.153.138:9092 --topic njzb

相关推荐
万联WANFLOW2 小时前
SD-WAN 控制平面高可用怎么做?SDWAN 控制器挂了,全网会发生什么
运维·网络·分布式·架构
月落归舟11 小时前
从单机到分布式:互联网系统架构演进全流程
分布式·系统架构
搬砖柯13 小时前
系列12-接口压测怎么做成平台能力?自研 httpx 引擎、分布式 Worker 与 Locust 选型对照
分布式·测试工具·性能优化·开源·自动化·httpx
折哥的程序人生 · 物流技术专研13 小时前
Java面试通关⑭:分布式理论与架构全集
分布式·微服务·校招·分布式事务·cap·java面试·最终一致性
Kyrie_Li1 天前
Spring Boot Kafka 生产级配置全解析:从入门到精通
spring boot·后端·kafka
格子软件1 天前
2026年GEO贴牌代理:分布式多级分账状态机源码深度解构
java·vue.js·分布式·vue·geo
Evand J1 天前
【论文复现】MATLAB例程,存在测距误差的WSN无锚点分布式自定位,《WSN中存在测距误差的无锚点分布式自定位方法》
开发语言·分布式·matlab·定位·导航·wsn
格子软件1 天前
2026年分布式GEO代理流量调度:源码级状态机防重挂实战
java·vue.js·人工智能·spring boot·分布式·vue
2301_801184751 天前
kafka-zookeeper
分布式·zookeeper·kafka
Devin~Y1 天前
抖音级短视频推荐与直播带货平台面试实战:从 Java 微服务到 RAG 智能客服全链路解析
java·spring boot·redis·spring cloud·kafka·agent·rag