Kafka操作指令笔记

查堆积用命令查:

bash 复制代码
./kafka-consumer-groups.sh --bootstrap-server {kafka集群地址} --describe --group {消费组名称}
bash 复制代码
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups
#查看所有组别的积压情况

可以通过grep、awk或其他文本处理工具来过滤和查看特定的消费组或分区的信息

要判断消费组是否存在消息积压,需要查看 LAG 列:

复制代码
如果 LAG 是0:表示该消费组已经消费了该分区中所有的消息,没有积压。
如果 LAG 大于0:表示消费组还有未处理的消息,即存在消息积压。

调整topic分区数:

bash 复制代码
/data/app/kafka/bin/kafka-topics --alter --topic {Topic名} --partitions 8 --zookeeper {Zookeeper_IP}:{Zookeeper_port}

注意⚠️ Kafka 3.6.0版本会不再依赖zookeeper,该版本之后的topic分区调整需另外查阅资料!

重置消费组消费指定topic进度

bash 复制代码
/data/app/kafka/bin/kafka-consumer-groups.sh --bootstrap-server {Kafka_IP}:{Kafka_port} --group {消费组名} --reset-offsets --to-latest --execute --topic {Topic名}
相关推荐
DKPT1 小时前
Java桥接模式实现方式与测试方法
java·笔记·学习·设计模式·桥接模式
巴伦是只猫3 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
亲爱的非洲野猪7 小时前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
X_StarX9 小时前
【Unity笔记02】订阅事件-自动开门
笔记·学习·unity·游戏引擎·游戏开发·大学生
MingYue_SSS9 小时前
开关电源抄板学习
经验分享·笔记·嵌入式硬件·学习
巴伦是只猫9 小时前
【机器学习笔记 Ⅱ】1 神经网络
笔记·神经网络·机器学习
weixin_437398219 小时前
转Go学习笔记(2)进阶
服务器·笔记·后端·学习·架构·golang
teeeeeeemo10 小时前
回调函数 vs Promise vs async/await区别
开发语言·前端·javascript·笔记
亲爱的非洲野猪13 小时前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
CodeWithMe13 小时前
【Note】《Kafka: The Definitive Guide》第三章: Kafka 生产者深入解析:如何高效写入 Kafka 消息队列
分布式·kafka