kafka中,使用ack提交时,存在重复消费问题

ack提交时,存在重复消费??

往consumer监听的topic中,增加了一条数据,但是代码消费了好几次,而且确实也走ack.acknowledge();这块逻辑了,因为处理的逻辑是要入库的,导致数据多了好几条,后排查得知是配置问题

...

spring.kafka.consumer.enable-auto-commit=true

spring.kafka.consumer.auto-offset-reset=latest

代码是刚拿到手,没有注意这块配置问题,因为上述配置导致重复消费,改成下面这种就可以了

...

spring.kafka.consumer.enable-auto-commit=false

spring.kafka.consumer.auto-offset-reset=latest

原因:一旦设置了 enable.auto.commit 为 true,Kafka 会保证在开始调用 poll 方法时,提交上次 poll 返回的所有消息。从顺序上来说,poll 方法的逻辑是先提交上一批消息的位移,再处理下一批消息,提交顺序问题导致重复消费

相关推荐
无心水2 小时前
【分布式利器:Kafka】1、Kafka 入门:Broker、Topic、分区 3 张图讲透(附实操命令)
分布式·kafka·topic·isr·broker·分区·生产者消费者模式java实现
九皇叔叔2 小时前
Zookeeper 基础入门与应用场景解析
分布式·zookeeper·云原生
一只小青团3 小时前
Hadoop之HDFS
大数据·hadoop·分布式
西岭千秋雪_4 小时前
Kafka安装和使用
java·分布式·kafka·java-zookeeper
qq_281317475 小时前
Kafka
分布式·kafka
Lansonli8 小时前
大数据Spark(七十三):Transformation转换算子glom和foldByKey使用案例
大数据·分布式·spark
明达智控技术11 小时前
MR30分布式I/O模块服务换热站项目,守护万家温暖
分布式·物联网·自动化
武子康11 小时前
Java-174 FastFDS 从单机到分布式文件存储:实战与架构取舍
java·大数据·分布式·性能优化·系统架构·dfs·fastdfs
Jerelli11 小时前
jmeter发送数据到sasl加密的kafka
jmeter·kafka
失散1311 小时前
分布式专题——56 微服务日志采集与分析系统实战
java·分布式·微服务·架构