Kafka Producer之幂等性

文章目录

  • [1. 启用幂等性](#1. 启用幂等性)
  • [2. 底层变化](#2. 底层变化)
  • [3. 数据不重复](#3. 数据不重复)
  • [4. 数据有序](#4. 数据有序)

幂等性通过消耗时间和性能的方式,解决乱序和重复问题。

但是只能保证同一生产者在一个分区中的幂等性。

1. 启用幂等性

java 复制代码
        //创建producer
        HashMap<String, Object> config = new HashMap<>();
        config.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:19092");
        config.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        config.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        //配置acks等级
        config.put(ProducerConfig.ACKS_CONFIG, "-1");
        //启用幂等性
        config.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, true);
        // 消息失败重试次数
        config.put(ProducerConfig.RETRIES_CONFIG, 5);
        config.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG, 3000);

        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(config);

幂等性操作要求:

  1. ACKS = -1

  2. 开启重试机制

  3. 在途请求缓冲区不能大于5

2. 底层变化

消息会被标记,包含生产者ID和消息序列号。

( 如果生产者重启,那么ID会变化,这会使得下图记录无效,幂等性短暂失效。)

并且broker中的ProducerState会记录每个分区的生产者状态,包括最新5个消息的序列号。

3. 数据不重复

消息来到broker分区,经由ProducerState的数据进行对比,

  • 重复则丢弃消息,返回ack。

  • 否则Broker存储消息并返回ack。

4. 数据有序

消息来到broker分区,经由ProducerState的数据进行对比,

  • 如果新消息的序列号是连续的,Broker会接受并存储该消息,然后更新最新序列号。
  • 如果新消息的序列号不连续,Broker会认为这是重复消息或乱序消息,根据配置,它可能会丢弃或拒绝该消息。
  • 无论消息被接受还是丢弃,Broker都会返回一个ack给生产者。

不连续时可能拒绝多个消息,那么这些消息都会返回生产者重新发送,直到按顺序下一个消息到来,才存储并更新。

相关推荐
国科安芯1 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence4 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户36105886261221 小时前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding1 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇2 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛2 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人2 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人3 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing4 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb