使用 kafka-console-consumer.sh 指定时间或偏移量消费

1、问题来源

在工作中需要观察上游生产的数据顺序和自己写的任务处理数据的顺序是否一致,尝尝需要将kafka中的指定时间或者偏移量开始的数据导出来分析,如果每次都导数据都是从头开消费导全量,往往少则几个G多则几十G的数据,导出容易卡死或者大文件传输很慢。

通过询问deepseek,推荐使用下列方案,然后就去实践是否可行

2、可选的方案

利用kafka安装包自带的./bin/kafka-console-consumer.sh来消费,省去各种找工具的烦恼

1) 根据时间来消费
bash 复制代码
# 首先重置偏移量
./bin/kafka-consumer-groups.sh --bootstrap-server <broker:port> --group export-test --topic <topic> --reset-offsets --to-datetime "2025-05-23T01:30:00.000" --execute
# 然后正常消费
./bin/kafka-console-consumer.sh --bootstrap-server <broker:port> --topic <topic> --group export-test > t.json
2) 根据偏移量来消费
bash 复制代码
./bin/kafka-console-consumer.sh --bootstrap-server <broker:port> --topic <topic> \
--partition <partition_number> --offset <offset_number> > t.json

注意:必须同时指定分区号才能使用 --offset 参数

3、最终方案

通过实践,采用根据时间来消费的方式,理由如下

  1. 指定时间点的偏移量不好获取,需要多次尝试才能确定,浪费时间

  2. 根据偏移量的方案需要指定分区号,多个分区的情况下需要重复好几遍,而且相同时间点在每个分区中中的偏移量不一致

  3. 导出的数据中不含偏移量,每次重复定位很难精确,耗时耗力

采用根据时间来消费的方式需要注意的点

  1. 执行第一步重置偏移量时指定的时间为标准UTC时区,北京时间为UTC+8(东八区),中国地区如果需要获取2025-05-23:09:30:00开始的消息,需要将--to-datetime 的时间设置为2025-05-23:01:30:00

  2. 在执行命令中指定的消费者组名称千万不能和生产中使用的消费者组一样,也就是--group 后面的名称需使用测试的名称

  3. 重置偏移量和后面的正常消费指定的的消费者组需一致

4、检查导出的消息是否准确

通过vim t.json查看导出的消息是否为预期的时间范围

相关推荐
可观测性用观测云2 小时前
通过 KafkaMQ 接入Skywalking 数据最佳实践
kafka
邂逅星河浪漫7 小时前
Docker 详解+示例
linux·docker·容器·kafka
Monkey-旭8 小时前
鸿蒙 5.1 深度解析:ArkUI 4.1 升级与分布式开发新范式
分布式·wpf·harmonyos·arkts·openharmony·arkui
猿java9 小时前
分布式和微服务,它们有什么区别?该如何选择?
分布式·微服务·架构
玄辰星君10 小时前
【在 macOS 系统上使用 Docker 启动 Kafka 的完整指南】
macos·docker·kafka
hello 早上好13 小时前
基于 Spring AMQP 的 RabbitMQ 分布式消息系统实战
分布式·spring·java-rabbitmq
友莘居士13 小时前
Logstash数据迁移之mysql-to-kafka.conf两种路由决策对比
mysql·kafka·logstash·路由决策
斯普信专业组13 小时前
Fluent Bit针对kafka心跳重连机制详解(上)
kafka·fluent bit
哈基米喜欢哈哈哈1 天前
Kafka复制机制
笔记·分布式·后端·kafka
孫治AllenSun1 天前
【Kafka】重点概念和架构总结
分布式·架构·kafka