Kafka从指定时间开始消费数据

需求-故障定位:flink消费kafka数据,某个时间点漏数据

  • 背景:kafka数据保留3天,如果第二天,发现程序异常导致数据丢失,需要定位是topic源头无数据,还是程序处理出现异常。
bash 复制代码
# 1, 设置一个新的group,重置offset为某个时间,格式为'YYYY-MM-DDTHH:mm:SS.sss'
[root@kafka01 ~]# ./bin/kafka-consumer-groups.sh --bootstrap-server kafka01:9092 \
    --group t1 --topic topicTest:2,1,0 --reset-offsets \
    --to-datetime '2024-11-27T00:00:00.000' --execute
GROUP                          TOPIC                  PARTITION  NEW-OFFSET
t1                             topicTest                  2          23227
t1                             topicTest                  1          12819
t1                             topicTest                  0          187
[root@kafka01 ~]#  ./bin/kafka-consumer-groups.sh --bootstrap-server kafka01:9092 \
     --describe --group t1
GROUP           TOPIC      PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
t1              topicTest   2          23227           27151           3924            -               -               -
t1              topicTest   1          12819           14781           1962            -               -               -
t1              topicTest   0          187             187             0               -               -               -


# 2, 使用该group,开始消费数据 (如下演示:消费7条数据,消费offset从 23227 --变为23234 )
[root@kafka01 ~]# ./bin/kafka-console-consumer.sh --bootstrap-server kafka01:9092 \
       --topic topicTest  --group t1 |head -n 2
#.....打印具体日志...
#Unable to write to standard out, closing consumer.
#Processed a total of 7 messages
[root@kafka01 ~]#  ./bin/kafka-consumer-groups.sh --bootstrap-server kafka01:9092 \
      --describe --group t1
GROUP           TOPIC      PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
t1              topicTest   2          23234           27151           3917            -               -               -
t1              topicTest   1          12819           14781           1962            -               -               -
t1              topicTest   0          187             187             0               -               -               -
相关推荐
stark张宇19 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛1 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人1 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人2 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing3 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手4 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star4 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog5 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli6 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396236 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka