kafka查看topic消息是否堆积

胡八一2025-02-11 15:49

消费kafka topic命令

集群：

bash 复制代码

 kafka-console-consumer.sh --zookeeper <ip:2181>,<ip:2181>,<ip:2181> --topic <topic_name>

单例：

bash 复制代码

 kafka-console-consumer.sh --zookeeper <ip:2181> --topic <topic_name>

查看kafka分组

集群：

bash 复制代码

kafka-consumer-groups.sh --bootstrap-server <ip1:9092>,<ip2:9092>,<ip3:9092> --list

单机

bash 复制代码

kafka-consumer-groups.sh --bootstrap-server <ip:9092> --list

示例

bash 复制代码

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

使用 kafka-consumer-groups.sh 查看消费进度

Kafka 提供了 kafka-consumer-groups.sh 工具，可以查看消费者组的偏移量（offsets）和当前 lag（积压）。

单机

bash 复制代码

kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER> --group <CONSUMER_GROUP> --describe

集群

bash 复制代码

kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER1>,<KAFKA_BROKER2>,<KAFKA_BROKER3> --group <CONSUMER_GROUP> --describe

示例

bash 复制代码

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-consumer-group --describe

输出示例

bash 复制代码

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG          CONSUMER-ID
my-topic       0          100             500             400          consumer-1
my-topic       1          200             600             400          consumer-2

如何判断堆积？

LAG 值大于 0 说明消费者消费速度慢，消息在 Kafka 中积压。
LAG 值持续增加 说明生产者速度快于消费者，消息持续堆积。