kafka查看topic消息是否堆积

消费kafka topic命令

集群:

bash 复制代码
 kafka-console-consumer.sh --zookeeper <ip:2181>,<ip:2181>,<ip:2181> --topic <topic_name>

单例:

bash 复制代码
 kafka-console-consumer.sh --zookeeper <ip:2181> --topic <topic_name>

查看kafka分组

集群:

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <ip1:9092>,<ip2:9092>,<ip3:9092> --list

单机

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <ip:9092> --list

示例

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

使用 kafka-consumer-groups.sh 查看消费进度

Kafka 提供了 kafka-consumer-groups.sh 工具,可以查看 消费者组的偏移量(offsets) 和 当前 lag(积压)。

单机

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER> --group <CONSUMER_GROUP> --describe

集群

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER1>,<KAFKA_BROKER2>,<KAFKA_BROKER3> --group <CONSUMER_GROUP> --describe

示例

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-consumer-group --describe

输出示例

bash 复制代码
TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG          CONSUMER-ID
my-topic       0          100             500             400          consumer-1
my-topic       1          200             600             400          consumer-2

如何判断堆积?

LAG 值大于 0 说明消费者消费速度慢,消息在 Kafka 中积压。
LAG 值持续增加 说明生产者速度快于消费者,消息持续堆积。

相关推荐
群联云防护小杜9 分钟前
分布式节点池:群联云防护抗DDoS的核心武器
前端·网络·分布式·udp·npm·node.js·ddos
别说我什么都不会1 小时前
OpenHarmony深度解读之分布式软总线:authmanager模块(6)/设备身份认证过程
分布式·物联网·harmonyos
maozexijr2 小时前
Kafka是如何实现幂等性的??
分布式·kafka·linq
可儿·四系桜2 小时前
Kafka Snappy 压缩异常分析与解决方案
java·分布式·kafka
顾北辰203 小时前
分布式中间件:RabbitMQ确认消费机制
分布式·中间件·rabbitmq
noravinsc3 小时前
分布式容器技术是什么
分布式
别说我什么都不会4 小时前
OpenHarmony深度解读之分布式软总线:authmanager模块(5)/设备身份认证过程
分布式·物联网·harmonyos
澄绪猿5 小时前
Spark读取文件系统的数据(sbt打包测试)-入门级别Demo
大数据·分布式·spark
天天进步20156 小时前
如何用Kafka实现优先级队列
java·kafka
小马爱打代码6 小时前
Kafka consumer_offsets 主题深度剖析
kafka