Spring-Kafka确认机制报错:No Acknowledgment available as an argument

问题出现

在spring boot集成kafka时报错,报错信息:

java 复制代码
No Acknowledgment available as an argument, the listener container must have a MANUAL AckMode to populate the Acknowledgment.

翻译: Acknowledgment 参数不可用,监听容器需要设置一个手动的 AckMode 才能填充Acknowledgment

问题代码:

java 复制代码
@KafkaListener(topics = PENDING_TOPIC, groupId = KafkaProducer.TOPIC_GROUP1)
    public void topic_test(ConsumerRecord<?, ?> record, Acknowledgment ack, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {
        Optional message = Optional.ofNullable(record.value());
        if (message.isPresent()) {
            Object msg = message.get();
            logger.info("topic.group1 消费了: Topic:" + topic + ",Message:" + msg);
            ack.acknowledge();
        }
    }

这是参考其他人的消费者端的代码,方法里有Acknowledgment 类型参数,说明该参数没有被识别。首先查一下这个参数的含义。

问题分析

Acknowledgment 类型参数的含义:

控制消息的确认机制。在kafka中,消费者提交偏移量时需要确认,执行ack.acknowledge();后代表告诉 Kafka 消费者组,当前的消息已经被成功处理并且可以提交偏移量。这意味着消费者不会再次处理这条消息。

Spring-kafka 提供了多种确认机制,也就是 AckMode。官方文档显示AckMode 有以下几种:

  • RECORD: 当监听器处理完记录返回时,提交偏移量.
  • BATCH: 处理完 poll() 返回的所有记录后,提交偏移量。
  • TIME: 当poll()返回的所有记录都已处理完毕后,只要超过上次提交后的 ackTime,就提交偏移量。
  • COUNT: 当poll()返回的所有记录都已处理完毕后,只要上次提交后已收到 ackCount 记录,就提交偏移量。
  • COUNT_TIME: 与 TIME 和 COUNT 类似,但如果任一条件为真,都会执行提交。
  • MANUAL: 处理完一批数据后,手动调用 Acknowledgment.acknowledge()方法将offest提交至缓存,之后在下一个poll() 之前用BATCH 方式提交。
  • MANUAL_IMMEDIATE: 当监听器调用 Acknowledgment.acknowledge() 方法时,立即提交偏移量。

报错原因:

从上面的集中确认机制中可以看到,只有MANUALMANUAL_IMMEDIATE 用到了Acknowledgment 其他都没有。所以需要把AckMode 配置成这两个其中一个才行,而查看配置文件发现我确实没有配。

解决办法:

application.yaml 中配置ack-mode: manual_immediate

在自定义配置AckMode 的时候,首先需要将enable-auto-commit 设置成false 才行,2.3版本之后默认是false,不过使用的默认机制是BATCH,所以还需要将ack-mode设成manual_immediate 来覆盖默认配置。

yaml 复制代码
spring:
  kafka:
    bootstrap-servers: localhost:9092
    consumer:
      auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
        # 值的反序列化方式
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      group-id: geo-friend
      enable-auto-commit: false # 设置成手动提交
      auto-commit-interval: 1S
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    listener:	# 配置监听容器的ackmode
      concurrency: 5
      ack-mode: manual_immediate
      missing-topics-fatal: false

参考资料:

spring-kafka 文档:https://docs.spring.io/spring-kafka/docs/2.8.2/reference/html/#committing-offsets

相关推荐
Amarantine、沐风倩✨27 分钟前
设计一个监控摄像头物联网IOT(webRTC、音视频、文件存储)
java·物联网·音视频·webrtc·html5·视频编解码·七牛云存储
路在脚下@1 小时前
spring boot的配置文件属性注入到类的静态属性
java·spring boot·sql
啦啦右一1 小时前
Spring Boot | (一)Spring开发环境构建
spring boot·后端·spring
森屿Serien1 小时前
Spring Boot常用注解
java·spring boot·后端
苹果醋33 小时前
React源码02 - 基础知识 React API 一览
java·运维·spring boot·mysql·nginx
Hello.Reader3 小时前
深入解析 Apache APISIX
java·apache
盛派网络小助手3 小时前
微信 SDK 更新 Sample,NCF 文档和模板更新,更多更新日志,欢迎解锁
开发语言·人工智能·后端·架构·c#
菠萝蚊鸭3 小时前
Dhatim FastExcel 读写 Excel 文件
java·excel·fastexcel
旭东怪4 小时前
EasyPoi 使用$fe:模板语法生成Word动态行
java·前端·word
007php0074 小时前
Go语言zero项目部署后启动失败问题分析与解决
java·服务器·网络·python·golang·php·ai编程