SpringBoot 集成 kafka,并消费历史事件

SpringBoot 集成 kafka,并消费历史事件

消费历史事件

上一篇文章我们讲的是 SpringBoot 集成 kafka 消费最新的事件,如果没有看过的小伙伴可以看这篇文章:SpringBoot 集成 kafka

那如果我们想消费历史的事件应该怎么办呢?

方法一:更换消费者组 id

第一步 在 application.yml 文件中新增配置
yaml 复制代码
spring:
  application:
    # 应用名称
    name: kafka-01-base
  kafka:
    # kafka 连接地址
    bootstrap-servers: 39.105.58.131:9092
    consumer:
      # 让消费者从最早的事件开始消费
      auto-offset-reset: earliest
第二步 更换消费者组 id

我们在上一篇文章中使用的消费者组 id 为:hello-group,我们随意更换一个名字即可,我这里更换为:hello-group-02

java 复制代码
package com.wanfeng.consumer;

import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

/**
 * 作者:晚枫
 * 时间:2024/9/1 9:00
 */
@Component
public class EventConsumer {

    // 采用监听的方式接收事件
    // topics 指定需要监听的主题
    // groupId 指定消费者组 id
    @KafkaListener(topics = "hello", groupId = "hello-group-02")
    public void onEvent(String event) {
        System.out.println("接收到的事件为:" + event);
    }
}

其他地方都不需要修改,然后我们启动程序去消费事件即可。

我们为什么要更换消费者组 id 呢?

因为我们已经使用过 hello-group 这个消费者 id 消费 hello 这个主题了,并且 kafka 已经保存了 hello-group 消费者组的偏移量,那么即使我们设置了 auto.offset.reset=earliest, 这个设置也不会生效,因为 kafka 只会在找不到偏移量的时候使用这个配置。

如果我们想继续使用 hello-group 这个消费者组对 hello 这个主题进行消费,并消费 hello 主题里面的历史事件可以吗?

答案是可以的,我们可以使用 kafka 提供的脚本来修改偏移量,来达到消费历史事件的目的

方法二:手动重置偏移量

SpringBoot 集成 kafka 这篇文章的基础上,什么都不需要修改,直接执行以下命令,就可以达到使用相同消费者组对同一个主题消费历史事件的目的了。

shell 复制代码
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group hello-group --topic hello --reset-offsets --to-earliest --execute

如果我们在执行这条命令出现以下错误的时候,我们把 Java 程序停止后再执行就可以了

shell 复制代码
Error: Assignments can only be reset if the group 'hello-group' is inactive, but the current state is Stable.
相关推荐
IT成长日记2 小时前
【Nginx开荒攻略】Nginx虚拟主机配置:从域名、端口到IP的完整指南
linux·运维·服务器·nginx·虚拟主机
taxunjishu3 小时前
DeviceNet 转 Modbus TCP 协议转换在 S7-1200 PLC化工反应釜中的应用
运维·人工智能·物联网·自动化·区块链
瓯雅爱分享3 小时前
Java+Vue构建的采购招投标一体化管理系统,集成招标计划、投标审核、在线竞价、中标公示及合同跟踪功能,附完整源码,助力企业实现采购全流程自动化与规范化
java·mysql·vue·软件工程·源代码管理
哥不是小萝莉4 小时前
Kafka监控工具 EFAK-AI 介绍
ai·kafka
迎風吹頭髮4 小时前
Linux内核架构浅谈8-Linux内核与UNIX的传承:设计思想与特性差异
linux·运维·架构
黑马金牌编程5 小时前
Linux 服务器常见的性能调优
linux·运维·服务器·性能优化
tianyuanwo5 小时前
Linux进程管理中的T状态问题分析与解决体系
linux·运维·进程管理·t状态
追逐时光者5 小时前
推荐 12 款开源美观、简单易用的 WPF UI 控件库,让 WPF 应用界面焕然一新!
后端·.net
Jagger_5 小时前
敏捷开发流程-精简版
前端·后端
mit6.8245 小时前
[C# starter-kit] 命令/查询职责分离CQRS | MediatR |
java·数据库·c#