Kafka-Kafka基本原理与集群快速搭建(实践)

Kafka单机搭建

下载Kafka Apache Download Mirrors

解压

复制代码
 tar -zxvf kafka_2.12-3.4.0.tgz  -C /usr/local/src/software/kafka

kafka内部bin目录下有个内置的zookeeper(用于单机)

启动zookeeper(在后台启动)

复制代码
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka(后台启动)

复制代码
nohup bin/kafka-server-start.sh  config/server.properties &

查看创建topic的相关帮助

复制代码
bin/kafka-topics.sh  --help

简单发送消息

创建topic
复制代码
bin/kafka-topics.sh  --create --topic test --bootstrap-server localhost:9092
查看topic信息
复制代码
 bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092
查看生产者的相关命令
复制代码
bin/kafka-console-producer.sh  --help
生产者发送消息(指定topic)
复制代码
bin/kafka-console-producer.sh  --bootstrap-server localhost:9092 --topic test

发送消息

消费者消费实时消息
复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
查看消费者相关命令
复制代码
bin/kafka-console-consumer.sh --help
消费之前的消息
复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test
指定从哪里开始消费(partition指的是存储消息的实际队列)

如下:从partition 0 中的偏移量为4的记录开始消费

复制代码
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --partition 0 --offset 4 --topic test
指定消费者组
复制代码
#两个消费者实例属于同一个消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup --topic test
#这个消费者实例属于不同的消费者组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.id=testGrroup2 --topic test
查看消费者组的消费进度详情
复制代码
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup

kafka集群搭建

相关推荐
沉默终止9 小时前
Kafka Queue: 完成 alterShareGroupOffsets Api
kafka
大数据0011 小时前
CLICKHOUSE分布式表初体验
分布式·clickhouse
失散1311 小时前
分布式专题——43 ElasticSearch概述
java·分布式·elasticsearch·架构
爬山算法14 小时前
Redis(66)Redis如何实现分布式锁?
数据库·redis·分布式
W.Buffer16 小时前
Kafka零拷贝原理深度解析:从传统拷贝痛点到工作实践优化
分布式·kafka
没有bug.的程序员16 小时前
服务治理与 API 网关:微服务流量管理的艺术
java·分布式·微服务·架构·wpf
心态特好16 小时前
解锁分布式唯一 ID:技术、实践与最佳方案
分布式·生活
shinelord明19 小时前
【大数据技术实战】Kafka 认证机制全解析
大数据·数据结构·分布式·架构·kafka
BUTCHER51 天前
Kafka多网卡环境配置
分布式·kafka
鸿蒙小白龙1 天前
openharmony之分布式蓝牙实现多功能场景设备协同实战
分布式·harmonyos·鸿蒙·鸿蒙系统·open harmony