设置 kafka offset 消费者位移

文章目录

1.重设kafka消费者位移

维度 策略 含义
位移 Earliest 把位移调整到当前最早位移处
位移 Latest 把位移调整到当前最新位移处
位移 Current 把位移调整到当前最新提交位移处
位移 Specified-Offset 把位移调整成指定位移
位移 Shift-By-N 把位移调整到当前位移 +N 处(N可以是负值)
时间 DateTime 把位移调整到大于给定时间的最小位移处
时间 Duration 把位移调整到距离当前时间指定时间间隔位移处

Earliest 策略直接指定 --to-earliest。

bash 复制代码
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --all-topics --to-earliest --execute

Latest 策略直接指定 --to-latest。

bash 复制代码
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --all-topics --to-latest --execute

Current 策略直接指定 --to-current。

bash 复制代码
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --all-topics --to-current --execute

Specified-Offset 策略直接指定 --to-offset。

bash 复制代码
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --all-topics --to-offset <offset> --execute

Shift-By-N 策略直接指定 --shift-by N。

bash 复制代码
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --shift-by <offset_N> --execute

DateTime 策略直接指定 --to-datetime。

bash 复制代码
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --to-datetime 2019-06-20T20:00:00.000 --execute

Duration 策略,我们直接指定 --by-duration。

30分钟前

bash 复制代码
bin/kafka-consumer-groups.sh --bootstrap-server kafka-host:port --group test-group --reset-offsets --by-duration PT0H30M0S --execute

2.示例

2.1 通过 offset 位置

不同的版本,下面的路径可能不一样

bash 复制代码
cd /opt/kafka_2.11-2.0.0/bin 
unset JMX_PORT 
kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9192 --group galaxy_device --reset-offsets --topic GALAXY_AUTH_EVENTS_ORG --shift-by offst数字 --execute

找到现在消费者 offset 位置,可以通过 kafka tools 工具,修改上面脚本中 offst数字 = 9+1,即跳过一条记录

  • galaxy_device 消费组名称
  • GALAXY_AUTH_EVENTS_ORG 主题名称

2.2 通过时间

bash 复制代码
cd /opt/kafka_2.11-2.0.0/bin 
unset JMX_PORT 
kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:16712 --group galaxy_device --reset-offsets --topic GALAXY_AUTH_EVENTS_ORG --to-datetime 2023-03-26T00:00:00.000 --execute
  • galaxy_device 消费组名称
  • GALAXY_AUTH_EVENTS_ORG 主题名称

2.3 设置到最早

bash 复制代码
kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:16712 --group profile-push-core-1 --reset-offsets --topic MessageProfile --to-earliest --execute
  • profile-push-core-1 消费组名称
  • MessageProfile 主题名称

如图:

相关推荐
Amy187021118234 小时前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式
June bug8 小时前
【软考中级·软件评测师】下午题·面向对象测试之架构考点全析:分层、分布式、微内核与事件驱动
经验分享·分布式·职场和发展·架构·学习方法·测试·软考
阿波罗.20129 小时前
Zookeeper 客户端 .net访问框架 ZookeeperNetEx项目开发编译
分布式·zookeeper
Bug退退退1239 小时前
RabbitMQ 工作模式
java·分布式·rabbitmq
weixin_4383354010 小时前
分布式锁实现方式:基于Redis的分布式锁实现(Spring Boot + Redis)
数据库·redis·分布式
危险、15 小时前
RabbitMQ 通过HTTP API删除队列命令
分布式·http·rabbitmq
周某某~15 小时前
windows安装RabbitMQ
分布式·rabbitmq
Bug退退退12315 小时前
RabbitMQ 高级特性之消息确认
java·分布式·rabbitmq
一只程序汪18 小时前
【如何实现分布式压测中间件】
分布式·中间件
William一直在路上19 小时前
主流分布式中间件及其选型
分布式·中间件