kafka集群配置

kafka版本: kafka_2.12-2.8.0

1.解压

root@node1 software# tar -zxf kafka_2.12-2.8.0.tgz -C /opt/module/

2.修改环境变量

root@node1 software# vim /etc/profile

3.修改文件名

root@node1 module# mv kafka_2.12-2.8.0/ kafka212

4.进入config文件夹,修改server.properties文件

root@node1 config# vim ./server.properties

21 broker.id=0

36 advertised.listeners=PLAINTEXT://192.168.153.136:9092

60 log.dirs=/opt/module/kafka212/kfkdata

103 log.retention.hours=1680

123 zookeeper.connect=192.168.153.136:2181,192.168.153.137:2181,192.168.153.138:2181

127 delete.topic.enable=true

5.在Kafka212文件夹下创建kfkdata文件夹

root@node1 kafka212# mkdir kfkdata

6.分发Kafka和profile文件

root@node1 kafka212# scp -r /opt/module/kafka212/ root@node2:/opt/module/

root@node1 kafka212# scp -r /opt/module/kafka212/ root@node3:/opt/module/

root@node1 kafka212# scp /etc/profile root@node2:/etc/profile

root@node1 kafka212# scp /etc/profile root@node3:/etc/profile

7.root@node1 kafka212# source /etc/profile

8.启动zookeeper服务

zkServer.sh start

9.启动Kafka服务

nohup kafka-server-start.sh /opt/module/kafka212/config/server.properties &

10.创建topic

kafka-topics.sh --create --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb --partitions 3 --replication-factor 3

11.查看指定topic的详细信息

kafka-topics.sh --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb

12.查看topic的offset(偏移量)

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.153.136:9092 --topic njzb

13.通过控制台发送消息

kafka-console-producer.sh --bootstrap-server 192.168.153.136:9092 --topic njzb

14.通过控制台订阅并接收消息

kafka-console-consumer.sh --bootstrap-server 192.168.153.138:9092 --topic njzb

相关推荐
Java成神之路-13 小时前
集群架构 vs 分布式微服务架构:核心区别通俗拆解
分布式·微服务·架构
运维行者_1 天前
企业带宽监控工具实战:网络流量分析与异常排查的5个关键能力
运维·服务器·开发语言·网络·分布式·后端·php
jeffwang1 天前
我把同一个压测做错了三次,第四次才发现真正的瓶颈
分布式·性能优化·rust
Blossom i1 天前
分布式编程实验二:Flink安装与编程实践(头歌云客)
大数据·分布式·flink
ai_coder_ai1 天前
事件驱动架构(EDA)在分布式业务系统中的应用
分布式·架构
蓝胖的四次元口袋1 天前
分布式知识梳理(4)
分布式
书香门第1 天前
系统设计练习 - 分布式黑名单服务(design a distributed denylist service)
分布式·系统架构·系统设计
江畔柳前堤1 天前
大语言模型分布式训练:从并行策略到万卡工程的系统梳理
人工智能·分布式·深度学习·算法·目标检测·机器学习·语言模型
霸道流氓气质2 天前
RabbitMQ 延迟队列与死信队列:原理、实现与实战
分布式·rabbitmq·ruby
爱吃面的猫2 天前
大数据Kafka3.x之——Kafka3.3.0安装与使用(详细)
大数据·分布式·zookeeper