kafka查看数据_Kafka 数据积压情况查看

由于消息消费速度处理慢或是消费端故障会导致数据产生积压。

那怎么查看数据积压量呢?

Consumer-Groups管理;

在Kafka 的bin目录下提供了 kafka-consumer-groups.sh 脚本。此脚本用于管理消费情况。

查询消费者组

bash 复制代码
$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

查询消费者组详情

bash 复制代码
$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group groupname

消费积压情况分析

LogEndOffset :下一条将要被加入到日志的消息的位移

CurrentOffset :当前消费的位移

LAG :消息堆积量

消息堆积量:消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量也称之为消费滞后量


消息发送到LeaderA之后会更新LEO的值,Follower1和Fllower2也会实时拉取LeaderA中的消息来更新自己,HW就表示A、B、C三者同时达到的日志位移。也就是A、B、C三者中LEO最小的那个值。由于B、C拉取A消息之间延时问题,所有HW必然不会与Leader的LEO相等,即LEO>=HW

重设消费者组位移

最早处

bash 复制代码
$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-earliest --execute

最新处

bash 复制代码
$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-latest --execute

某个位置

bash 复制代码
$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-offset 2000 --execute

调整到某个时间之后得最早位移

bash 复制代码
$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-of
相关推荐
筑梦之人15 小时前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing2 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手2 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star3 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog3 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli5 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396235 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
Alluxio5 天前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
阿卡好可爱6 天前
Lua 热更新不生效:改完文件线上仍是旧逻辑,package.loaded 与 upvalue 重绑定详解
数据结构·分布式·后端·架构·lua
我不会起名字3226 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查