kafka集群配置

kafka版本: kafka_2.12-2.8.0

1.解压

[root@node1 software]# tar -zxf kafka_2.12-2.8.0.tgz -C /opt/module/

2.修改环境变量

[root@node1 software]# vim /etc/profile

3.修改文件名

[root@node1 module]# mv kafka_2.12-2.8.0/ kafka212

4.进入config文件夹,修改server.properties文件

[root@node1 config]# vim ./server.properties

21 broker.id=0

36 advertised.listeners=PLAINTEXT://192.168.153.136:9092

60 log.dirs=/opt/module/kafka212/kfkdata

103 log.retention.hours=1680

123 zookeeper.connect=192.168.153.136:2181,192.168.153.137:2181,192.168.153.138:2181

127 delete.topic.enable=true

5.在Kafka212文件夹下创建kfkdata文件夹

[root@node1 kafka212]# mkdir kfkdata

6.分发Kafka和profile文件

[root@node1 kafka212]# scp -r /opt/module/kafka212/ root@node2:/opt/module/

[root@node1 kafka212]# scp -r /opt/module/kafka212/ root@node3:/opt/module/

[root@node1 kafka212]# scp /etc/profile root@node2:/etc/profile

[root@node1 kafka212]# scp /etc/profile root@node3:/etc/profile

7.[root@node1 kafka212]# source /etc/profile

8.启动zookeeper服务

zkServer.sh start

9.启动Kafka服务

nohup kafka-server-start.sh /opt/module/kafka212/config/server.properties &

10.创建topic

kafka-topics.sh --create --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb --partitions 3 --replication-factor 3

11.查看指定topic的详细信息

kafka-topics.sh --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb

12.查看topic的offset(偏移量)

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.153.136:9092 --topic njzb

13.通过控制台发送消息

kafka-console-producer.sh --bootstrap-server 192.168.153.136:9092 --topic njzb

14.通过控制台订阅并接收消息

kafka-console-consumer.sh --bootstrap-server 192.168.153.138:9092 --topic njzb

相关推荐
.生产的驴8 分钟前
SpringBoot 消息队列RabbitMQ在代码中声明 交换机 与 队列使用注解创建
java·spring boot·分布式·servlet·kafka·rabbitmq·java-rabbitmq
RestCloud16 分钟前
一文说清楚ETL与Kafka如何实现集成
数据仓库·kafka·etl·数据处理·数据集成
lipviolet1 小时前
Redis系列---Redission分布式锁
数据库·redis·分布式
码爸1 小时前
flink自定义process,使用状态求历史总和(scala)
大数据·elasticsearch·flink·kafka·scala
spiker_9 小时前
RabbitMQ 常见使用模式详解
分布式·rabbitmq
不能再留遗憾了9 小时前
RabbitMQ 高级特性——持久化
分布式·rabbitmq·ruby
成为大佬先秃头9 小时前
解决RabbitMQ设置TTL过期后不进入死信队列
分布式·中间件·rabbitmq·java-rabbitmq
七夜zippoe11 小时前
分布式系统实战经验
java·分布式
happycao12312 小时前
记一次kafka消息丢失问题排查
kafka
nomi-糯米12 小时前
Fisco Bcos 2.11.0配置console控制台2.10.0及部署调用智能合约
分布式·网络安全·区块链·智能合约·分布式账本