kafka查看topic消息是否堆积

消费kafka topic命令

集群:

bash 复制代码
 kafka-console-consumer.sh --zookeeper <ip:2181>,<ip:2181>,<ip:2181> --topic <topic_name>

单例:

bash 复制代码
 kafka-console-consumer.sh --zookeeper <ip:2181> --topic <topic_name>

查看kafka分组

集群:

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <ip1:9092>,<ip2:9092>,<ip3:9092> --list

单机

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <ip:9092> --list

示例

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

使用 kafka-consumer-groups.sh 查看消费进度

Kafka 提供了 kafka-consumer-groups.sh 工具,可以查看 消费者组的偏移量(offsets) 和 当前 lag(积压)。

单机

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER> --group <CONSUMER_GROUP> --describe

集群

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER1>,<KAFKA_BROKER2>,<KAFKA_BROKER3> --group <CONSUMER_GROUP> --describe

示例

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-consumer-group --describe

输出示例

bash 复制代码
TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG          CONSUMER-ID
my-topic       0          100             500             400          consumer-1
my-topic       1          200             600             400          consumer-2

如何判断堆积?

LAG 值大于 0 说明消费者消费速度慢,消息在 Kafka 中积压。
LAG 值持续增加 说明生产者速度快于消费者,消息持续堆积。

相关推荐
AKAMAI4 小时前
在分布式计算区域中通过VPC搭建私有网络
人工智能·分布式·云计算
面带微笑向前走11 小时前
分布式集群压测+grafana+influxdb+Prometheus详细步骤
分布式·grafana·prometheus
何中应12 小时前
分布式事务的两种解决方案
java·分布式·后端
诸葛务农14 小时前
人形机器人——电子皮肤技术路线:光学式电子皮肤及MIT基于光导纤维的分布式触觉传感电子皮肤
分布式·机器人·wpf
武子康15 小时前
大数据-77 Kafka 延时队列与消息重试机制全解析:从原理到实战落地 Java
大数据·后端·kafka
心月狐的流火号16 小时前
分布式锁技术详解与Go语言实现
分布式·微服务·go
秋已杰爱19 小时前
Redis分布式锁
数据库·redis·分布式
编啊编程啊程1 天前
JUC之AQS
java·开发语言·jvm·c++·kafka
努力买辣条1 天前
基于 Docker 的高可用 WordPress 集群部署:分布式 Nginx + Keepalived、MySQL 主从复制与 ProxySQL 读写分离
分布式·nginx·docker
tan77º1 天前
【Linux网络编程】分布式Json-RPC框架 - 项目设计
linux·服务器·网络·分布式·网络协议·rpc·json