kafka查看topic消息是否堆积

消费kafka topic命令

集群:

bash 复制代码
 kafka-console-consumer.sh --zookeeper <ip:2181>,<ip:2181>,<ip:2181> --topic <topic_name>

单例:

bash 复制代码
 kafka-console-consumer.sh --zookeeper <ip:2181> --topic <topic_name>

查看kafka分组

集群:

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <ip1:9092>,<ip2:9092>,<ip3:9092> --list

单机

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <ip:9092> --list

示例

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

使用 kafka-consumer-groups.sh 查看消费进度

Kafka 提供了 kafka-consumer-groups.sh 工具,可以查看 消费者组的偏移量(offsets) 和 当前 lag(积压)。

单机

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER> --group <CONSUMER_GROUP> --describe

集群

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER1>,<KAFKA_BROKER2>,<KAFKA_BROKER3> --group <CONSUMER_GROUP> --describe

示例

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-consumer-group --describe

输出示例

bash 复制代码
TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG          CONSUMER-ID
my-topic       0          100             500             400          consumer-1
my-topic       1          200             600             400          consumer-2

如何判断堆积?

LAG 值大于 0 说明消费者消费速度慢,消息在 Kafka 中积压。
LAG 值持续增加 说明生产者速度快于消费者,消息持续堆积。

相关推荐
zzywxc78722 分钟前
PyTorch分布式训练深度指南
人工智能·pytorch·分布式·深度学习·wpf·技术栈深潜计划
经典19924 小时前
从单体到分布式:解锁架构进化密码
分布式·架构
小满和小晨5 小时前
Redis+Lua的分布式限流器
redis·分布式·lua
阿萨德528号5 小时前
5、生产Redis高并发分布式锁实战
数据库·redis·分布式·缓存
abigalexy6 小时前
Kafka高吞吐、消息积压、高并发削峰
kafka·消息队列
bing_1586 小时前
Kafka 是什么?
分布式·kafka
zlpzlpzyd6 小时前
Zookeeper符合cap中的AP还是CP
linux·分布式·zookeeper
qq_463944867 小时前
【Spark征服之路-4.3-Kafka】
大数据·spark·kafka
Jay Kay8 小时前
从零开始设计一个分布式KV存储:基于Raft的协程化实现
分布式·raft
bing_1588 小时前
kafka 是一个怎样的系统?是消息队列(MQ)还是一个分布式流处理平台?
分布式·kafka