使用 kafka-console-consumer.sh 指定时间或偏移量消费

1、问题来源

在工作中需要观察上游生产的数据顺序和自己写的任务处理数据的顺序是否一致,尝尝需要将kafka中的指定时间或者偏移量开始的数据导出来分析,如果每次都导数据都是从头开消费导全量,往往少则几个G多则几十G的数据,导出容易卡死或者大文件传输很慢。

通过询问deepseek,推荐使用下列方案,然后就去实践是否可行

2、可选的方案

利用kafka安装包自带的./bin/kafka-console-consumer.sh来消费,省去各种找工具的烦恼

1) 根据时间来消费
bash 复制代码
# 首先重置偏移量
./bin/kafka-consumer-groups.sh --bootstrap-server <broker:port> --group export-test --topic <topic> --reset-offsets --to-datetime "2025-05-23T01:30:00.000" --execute
# 然后正常消费
./bin/kafka-console-consumer.sh --bootstrap-server <broker:port> --topic <topic> --group export-test > t.json
2) 根据偏移量来消费
bash 复制代码
./bin/kafka-console-consumer.sh --bootstrap-server <broker:port> --topic <topic> \
--partition <partition_number> --offset <offset_number> > t.json

注意:必须同时指定分区号才能使用 --offset 参数

3、最终方案

通过实践,采用根据时间来消费的方式,理由如下

  1. 指定时间点的偏移量不好获取,需要多次尝试才能确定,浪费时间

  2. 根据偏移量的方案需要指定分区号,多个分区的情况下需要重复好几遍,而且相同时间点在每个分区中中的偏移量不一致

  3. 导出的数据中不含偏移量,每次重复定位很难精确,耗时耗力

采用根据时间来消费的方式需要注意的点

  1. 执行第一步重置偏移量时指定的时间为标准UTC时区,北京时间为UTC+8(东八区),中国地区如果需要获取2025-05-23:09:30:00开始的消息,需要将--to-datetime 的时间设置为2025-05-23:01:30:00

  2. 在执行命令中指定的消费者组名称千万不能和生产中使用的消费者组一样,也就是--group 后面的名称需使用测试的名称

  3. 重置偏移量和后面的正常消费指定的的消费者组需一致

4、检查导出的消息是否准确

通过vim t.json查看导出的消息是否为预期的时间范围

相关推荐
Lansonli14 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
bksczm1 天前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh1 天前
RabbitMQ安装
分布式·rabbitmq
用户3610588626121 天前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
AI源码2 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
goehou2 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯3 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence3 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626123 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi4 天前
Kafka消息中间件单机版安装配置
分布式·kafka