kafka集群配置

kafka版本: kafka_2.12-2.8.0

1.解压

root@node1 software# tar -zxf kafka_2.12-2.8.0.tgz -C /opt/module/

2.修改环境变量

root@node1 software# vim /etc/profile

3.修改文件名

root@node1 module# mv kafka_2.12-2.8.0/ kafka212

4.进入config文件夹,修改server.properties文件

root@node1 config# vim ./server.properties

21 broker.id=0

36 advertised.listeners=PLAINTEXT://192.168.153.136:9092

60 log.dirs=/opt/module/kafka212/kfkdata

103 log.retention.hours=1680

123 zookeeper.connect=192.168.153.136:2181,192.168.153.137:2181,192.168.153.138:2181

127 delete.topic.enable=true

5.在Kafka212文件夹下创建kfkdata文件夹

root@node1 kafka212# mkdir kfkdata

6.分发Kafka和profile文件

root@node1 kafka212# scp -r /opt/module/kafka212/ root@node2:/opt/module/

root@node1 kafka212# scp -r /opt/module/kafka212/ root@node3:/opt/module/

root@node1 kafka212# scp /etc/profile root@node2:/etc/profile

root@node1 kafka212# scp /etc/profile root@node3:/etc/profile

7.root@node1 kafka212# source /etc/profile

8.启动zookeeper服务

zkServer.sh start

9.启动Kafka服务

nohup kafka-server-start.sh /opt/module/kafka212/config/server.properties &

10.创建topic

kafka-topics.sh --create --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb --partitions 3 --replication-factor 3

11.查看指定topic的详细信息

kafka-topics.sh --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb

12.查看topic的offset(偏移量)

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.153.136:9092 --topic njzb

13.通过控制台发送消息

kafka-console-producer.sh --bootstrap-server 192.168.153.136:9092 --topic njzb

14.通过控制台订阅并接收消息

kafka-console-consumer.sh --bootstrap-server 192.168.153.138:9092 --topic njzb

相关推荐
ACP广源盛139246256738 小时前
DeepSeek‑V4‑Flash 公测@ACP#昇腾 950 国产算力组合落地,国产 PCIe 交换芯片 IX9104 有哪些硬件机会
大数据·数据库·人工智能·分布式·单片机·嵌入式硬件·microsoft
玉鸯9 小时前
多 Agent 并行时如何保证状态一致性?
分布式·python·agent
CodeHackerBhx10 小时前
Spring Boot 4 防重复提交:从接口幂等到 Redis 分布式锁的完整实践
java·数据库·spring boot·redis·分布式
城管不管13 小时前
RabbitMQ死信队列
java·分布式·ai·面试·职场和发展·rabbitmq·agent
2601_9564563413 小时前
从研发到交付:嗨动视觉分布式KVM坐席系统的靠谱逻辑
分布式
java1234_小锋13 小时前
【免费】基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
大数据·spark·kafka·实时医疗健康数据监测·实时疾病预测系统
小O的算法实验室14 小时前
AAAI-26,解空间变换引导的节能分布式异构柔性作业车间协同进化
分布式
ai_coder_ai1 天前
分布式缓存架构设计与实践
分布式·缓存
纯真时光1 天前
微服务分布式事务 -- XA,AT,TCC模式
分布式·微服务
笨蛋不要掉眼泪1 天前
RabbitMQ消息队列:业务幂等性
分布式·rabbitmq·java-rabbitmq