kafka集群配置

kafka版本: kafka_2.12-2.8.0

1.解压

root@node1 software\]# tar -zxf kafka_2.12-2.8.0.tgz -C /opt/module/ 2.修改环境变量 \[root@node1 software\]# vim /etc/profile 3.修改文件名 \[root@node1 module\]# mv kafka_2.12-2.8.0/ kafka212 4.进入config文件夹,修改server.properties文件 \[root@node1 config\]# vim ./server.properties 21 broker.id=0 36 advertised.listeners=PLAINTEXT://192.168.153.136:9092 60 log.dirs=/opt/module/kafka212/kfkdata 103 log.retention.hours=1680 123 zookeeper.connect=192.168.153.136:2181,192.168.153.137:2181,192.168.153.138:2181 127 delete.topic.enable=true 5.在Kafka212文件夹下创建kfkdata文件夹 \[root@node1 kafka212\]# mkdir kfkdata 6.分发Kafka和profile文件 \[root@node1 kafka212\]# scp -r /opt/module/kafka212/ root@node2:/opt/module/ \[root@node1 kafka212\]# scp -r /opt/module/kafka212/ root@node3:/opt/module/ \[root@node1 kafka212\]# scp /etc/profile root@node2:/etc/profile \[root@node1 kafka212\]# scp /etc/profile root@node3:/etc/profile 7.\[root@node1 kafka212\]# source /etc/profile 8.启动zookeeper服务 zkServer.sh start 9.启动Kafka服务 nohup kafka-server-start.sh /opt/module/kafka212/config/server.properties \& 10.创建topic kafka-topics.sh --create --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb --partitions 3 --replication-factor 3 11.查看指定topic的详细信息 kafka-topics.sh --zookeeper 192.168.153.136:2181, 192.168.153.137:2181, 192.168.153.138:2181 --topic njzb 12.查看topic的offset(偏移量) kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.153.136:9092 --topic njzb 13.通过控制台发送消息 kafka-console-producer.sh --bootstrap-server 192.168.153.136:9092 --topic njzb 14.通过控制台订阅并接收消息 kafka-console-consumer.sh --bootstrap-server 192.168.153.138:9092 --topic njzb

相关推荐
ajax_beijing36 分钟前
hadoop的三副本数据冗余策略
大数据·hadoop·分布式
失散131 小时前
分布式专题——46 ElasticSearch高级查询语法Query DSL实战
java·分布式·elasticsearch·架构
沉默终止1 小时前
Kafka Queue: 如何严格控制消息数量
kafka
没有bug.的程序员1 小时前
分布式链路追踪:微服务可观测性的核心支柱
java·分布式·微服务·架构·wpf
C.R.xing1 小时前
Pyspark分布式访问NebulaGraph图数据库
数据库·分布式·python·pyspark·nebulagraph
AutoMQ3 小时前
重磅发布|AutoMQ v1.6.0 开源版:Kafka 成本直降 17 倍,原生支持 Strimzi 与 Iceberg
云原生·kafka
koping_wu11 小时前
【RabbitMQ】架构原理、消息丢失、重复消费、顺序消费、事务消息
分布式·架构·rabbitmq
吹晚风吧12 小时前
从0开始了解kafka《第二篇 kafka的安装、管理和配置》
kafka·kafka配置
Jabes.yang12 小时前
Java面试场景:从Spring Web到Kafka的音视频应用挑战
大数据·spring boot·kafka·spring security·java面试·spring webflux
板凳坐着晒太阳13 小时前
Flink-Kafka 连接器的 Checkpoint 与 Offset 管理机制
flink·kafka·offset·checkpoint