Kafka·Producer

Producer发送原理

  1. 拦截器进行拦截

  2. 对key和value进行序列化

    org.apache.kafka.clients.producer.KafkaProducer#doSend

  3. 分区选择

    计算消息要发送到topic的哪个分区上

    • 若指定了分区,则使用指定的值
    • 没有指定的话则使用分区器计算得到
    • 或者使用hash取余的方式
  4. 暂存消息到累加器

    Producer并不会立刻发送消息到Broker中,而是把消息暂存到累加器中,当消息达到一定量后,再异步批量发送

    消息被暂存到这样一个结构中,可以看到每个topic中,按照分区将消息暂存到一个Deque中

  5. acks
    acks,消息发送后的确认机制

    • acks = 0:发送即确认
    • acks = 1:消息在leader落盘后确认
    • acks = all/-1:默认值,leader等待其他follower(ISR中的follower)都同步后回复确认
  6. 重试

  7. 幂等性

    开启幂等性配置(enable.idempotence默认true)后,生产者发送消息时,除了key-value,还会发送PID和Sequence Number。

    • PID:用来标识生产者
    • Sequence Number:表示消息的序列号,每次发送消息都会+1产生新的序列号(连续)

    也就是说PID和Sequence Number会跟随key-value一并先暂存于累加器中,最后发送到Broker中,当broker应答异常,Producer会进行重试发送

    消息发送到Broker后,虽然由于某些原因造成了生产者重试发送消息,但前一条消息可能已经成功落盘到Broker了,当重试发送的消息到达broker后,会通过PID和Sequence Number来判断

    • 若本次消息的Sequence Number 小于或等于 上一次消息的Sequence Number,说明消息重复,丢弃本次消息
    • 若本次消息的Sequence Number 大于 (上一次消息Sequence Number+1),说明存在消息丢失现象,然后抛异常

    虽然是否开启幂等性是在Producer配置的,但是幂等性是在broker中解决的(在Broker中判断PID和Sequence Number)

相关推荐
亲爱的非洲野猪6 小时前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
亲爱的非洲野猪11 小时前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
CodeWithMe11 小时前
【Note】《Kafka: The Definitive Guide》第三章: Kafka 生产者深入解析:如何高效写入 Kafka 消息队列
分布式·kafka
虾条_花吹雪11 小时前
2、Connecting to Kafka
分布式·ai·kafka
亲爱的非洲野猪15 小时前
Kafka消息积压全面解决方案:从应急处理到系统优化
分布式·kafka
prince051 天前
Kafka 生产者和消费者高级用法
分布式·kafka·linq
菜萝卜子1 天前
【Project】基于kafka的高可用分布式日志监控与告警系统
分布式·kafka
csdn_aspnet1 天前
在 Windows 上安装和运行 Apache Kafka
windows·kafka
真实的菜2 天前
Kafka生态整合深度解析:构建现代化数据架构的核心枢纽
架构·kafka·linq
茫茫人海一粒沙4 天前
理解 Confluent Schema Registry:Kafka 生态中的结构化数据守护者
分布式·kafka