kafka中,使用ack提交时,存在重复消费问题

ack提交时,存在重复消费??

往consumer监听的topic中,增加了一条数据,但是代码消费了好几次,而且确实也走ack.acknowledge();这块逻辑了,因为处理的逻辑是要入库的,导致数据多了好几条,后排查得知是配置问题

...

spring.kafka.consumer.enable-auto-commit=true

spring.kafka.consumer.auto-offset-reset=latest

代码是刚拿到手,没有注意这块配置问题,因为上述配置导致重复消费,改成下面这种就可以了

...

spring.kafka.consumer.enable-auto-commit=false

spring.kafka.consumer.auto-offset-reset=latest

原因:一旦设置了 enable.auto.commit 为 true,Kafka 会保证在开始调用 poll 方法时,提交上次 poll 返回的所有消息。从顺序上来说,poll 方法的逻辑是先提交上一批消息的位移,再处理下一批消息,提交顺序问题导致重复消费

相关推荐
小北方城市网7 小时前
Redis 分布式锁高可用实现:从原理到生产级落地
java·前端·javascript·spring boot·redis·分布式·wpf
编程彩机8 小时前
互联网大厂Java面试:从Spring Security到微服务架构场景解析
kafka·spring security·微服务架构·jwt·java面试·分布式追踪
麦兜和小可的舅舅12 小时前
ClickHouse Drop Table On Cluster 故障分析和原理解析
clickhouse·kafka
小尘要自信13 小时前
高级网络爬虫实战:动态渲染、反爬对抗与分布式架构
分布式·爬虫·架构
小程故事多_8015 小时前
深度解析Kafka重平衡,触发机制、执行流程与副本的核心关联
分布式·kafka
2501_9481201516 小时前
基于HBase的分布式列式存储
数据库·分布式·hbase
小北方城市网16 小时前
MyBatis-Plus 生产级深度优化:从性能到安全的全维度方案
开发语言·redis·分布式·python·缓存·性能优化·mybatis
【赫兹威客】浩哥17 小时前
【赫兹威客】伪分布式Kafka测试教程
分布式·kafka
Jackyzhe17 小时前
从零学习Kafka:集群架构和基本概念
学习·架构·kafka
【赫兹威客】浩哥17 小时前
【赫兹威客】伪分布式Spark测试教程
大数据·分布式·spark