使用 kafka-console-consumer.sh 指定时间或偏移量消费

1、问题来源

在工作中需要观察上游生产的数据顺序和自己写的任务处理数据的顺序是否一致,尝尝需要将kafka中的指定时间或者偏移量开始的数据导出来分析,如果每次都导数据都是从头开消费导全量,往往少则几个G多则几十G的数据,导出容易卡死或者大文件传输很慢。

通过询问deepseek,推荐使用下列方案,然后就去实践是否可行

2、可选的方案

利用kafka安装包自带的./bin/kafka-console-consumer.sh来消费,省去各种找工具的烦恼

1) 根据时间来消费
bash 复制代码
# 首先重置偏移量
./bin/kafka-consumer-groups.sh --bootstrap-server <broker:port> --group export-test --topic <topic> --reset-offsets --to-datetime "2025-05-23T01:30:00.000" --execute
# 然后正常消费
./bin/kafka-console-consumer.sh --bootstrap-server <broker:port> --topic <topic> --group export-test > t.json
2) 根据偏移量来消费
bash 复制代码
./bin/kafka-console-consumer.sh --bootstrap-server <broker:port> --topic <topic> \
--partition <partition_number> --offset <offset_number> > t.json

注意:必须同时指定分区号才能使用 --offset 参数

3、最终方案

通过实践,采用根据时间来消费的方式,理由如下

  1. 指定时间点的偏移量不好获取,需要多次尝试才能确定,浪费时间

  2. 根据偏移量的方案需要指定分区号,多个分区的情况下需要重复好几遍,而且相同时间点在每个分区中中的偏移量不一致

  3. 导出的数据中不含偏移量,每次重复定位很难精确,耗时耗力

采用根据时间来消费的方式需要注意的点

  1. 执行第一步重置偏移量时指定的时间为标准UTC时区,北京时间为UTC+8(东八区),中国地区如果需要获取2025-05-23:09:30:00开始的消息,需要将--to-datetime 的时间设置为2025-05-23:01:30:00

  2. 在执行命令中指定的消费者组名称千万不能和生产中使用的消费者组一样,也就是--group 后面的名称需使用测试的名称

  3. 重置偏移量和后面的正常消费指定的的消费者组需一致

4、检查导出的消息是否准确

通过vim t.json查看导出的消息是否为预期的时间范围

相关推荐
经典19923 小时前
从单体到分布式:解锁架构进化密码
分布式·架构
小满和小晨4 小时前
Redis+Lua的分布式限流器
redis·分布式·lua
阿萨德528号4 小时前
5、生产Redis高并发分布式锁实战
数据库·redis·分布式·缓存
abigalexy5 小时前
Kafka高吞吐、消息积压、高并发削峰
kafka·消息队列
bing_1585 小时前
Kafka 是什么?
分布式·kafka
zlpzlpzyd5 小时前
Zookeeper符合cap中的AP还是CP
linux·分布式·zookeeper
qq_463944866 小时前
【Spark征服之路-4.3-Kafka】
大数据·spark·kafka
Jay Kay7 小时前
从零开始设计一个分布式KV存储:基于Raft的协程化实现
分布式·raft
bing_1587 小时前
kafka 是一个怎样的系统?是消息队列(MQ)还是一个分布式流处理平台?
分布式·kafka
Adorable老犀牛7 小时前
一键安装RabbitMQ脚本
分布式·rabbitmq