Kafka操作指令笔记

查堆积用命令查:

bash 复制代码
./kafka-consumer-groups.sh --bootstrap-server {kafka集群地址} --describe --group {消费组名称}
bash 复制代码
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --all-groups
#查看所有组别的积压情况

可以通过grep、awk或其他文本处理工具来过滤和查看特定的消费组或分区的信息

要判断消费组是否存在消息积压,需要查看 LAG 列:

如果 LAG 是0:表示该消费组已经消费了该分区中所有的消息,没有积压。
如果 LAG 大于0:表示消费组还有未处理的消息,即存在消息积压。

调整topic分区数:

bash 复制代码
/data/app/kafka/bin/kafka-topics --alter --topic {Topic名} --partitions 8 --zookeeper {Zookeeper_IP}:{Zookeeper_port}

注意⚠️ Kafka 3.6.0版本会不再依赖zookeeper,该版本之后的topic分区调整需另外查阅资料!

重置消费组消费指定topic进度

bash 复制代码
/data/app/kafka/bin/kafka-consumer-groups.sh --bootstrap-server {Kafka_IP}:{Kafka_port} --group {消费组名} --reset-offsets --to-latest --execute --topic {Topic名}
相关推荐
-一杯为品-16 分钟前
【51单片机】程序实验5&6.独立按键-矩阵按键
c语言·笔记·学习·51单片机·硬件工程
B站计算机毕业设计超人1 小时前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化
熙曦Sakura2 小时前
完全竞争市场
笔记
dr李四维3 小时前
iOS构建版本以及Hbuilder打iOS的ipa包全流程
前端·笔记·ios·产品运营·产品经理·xcode
Mephisto.java5 小时前
【大数据学习 | Spark】Spark的改变分区的算子
大数据·elasticsearch·oracle·spark·kafka·memcache
Komorebi.py6 小时前
【Linux】-学习笔记05
linux·笔记·学习
亦枫Leonlew6 小时前
微积分复习笔记 Calculus Volume 1 - 6.5 Physical Applications
笔记·数学·微积分
冰帝海岸11 小时前
01-spring security认证笔记
java·笔记·spring
KevinAha12 小时前
Kafka 3.5 源码导读
kafka
求积分不加C12 小时前
-bash: ./kafka-topics.sh: No such file or directory--解决方案
分布式·kafka