Kafka 消息发送和消费流程

发送消息

流程如下:

  1. Producer 端直接将消息发送到 Broker 中的 Leader 分区中
  2. Broker 对应的 Leader 分区收到消息会先写入 Page Cache,定时刷盘进行持久化(顺序写入磁盘)
  3. Follower 分区拉取 Leader 分区的消息,并保持与 Leader 分区数据一致,待消息拉取完毕后需要给 Leader 分区回复 ACK 确认消息
  4. Leader 分区与 Follower 分区同步完数据,并收到所有 ISR 中的 Replica 副本的 ACK 后,Leader 分区会给 Producer 回复 ACK 确认消息

消费消息

流程如下:

  1. Consumer 需要通过订阅关系获取到集群元数据, 找到相关 Topic 对应的 Leader 分区的数据,然后通过 Pull 模式主动的去 Kafka 集群中拉取消息
  2. 拉取到消息后进行业务逻辑处理,待处理完成后,会进行 ACK 确认,即提交 Offset 消费位移进度记录。
  3. 最后 Offset 会被保存到 Kafka Broker 集群中的 consumer_offsets 这个 Topic 中,且每个 Consumer 保存自己的 Offset 进度

**注意:**在这个过程中,有个消费者组的概念,多个 Consumer 可以组成一个消费者组即 Consumer Group,每个消费者组都有一个 GroupId。同一个 Consumer Group 中的 Consumer 可以消费同一个 Topic 下不同分区的数据,但是不会出现多个 Consumer 去消费同一个分区的数据。

总结

综上所述,可以得出 Kafka 有三次消息传递的过程:

  1. Producer 端发送消息给 Broker 端
  2. Broker 将消息进行并持久化数据
  3. Consumer 端从 Broker 将消息拉取并进行消费
相关推荐
Nano叶落2 天前
Kafka 消费积压排查入门:Docker 搭环境亲手制造一次 ‘消息堵死‘,10 分钟看懂 Lag
kafka
吉甫作诵3 天前
Kafka 集群安装与运维实战:消费组排查、Offset 重置与副本重分配
大数据·运维·分布式·kafka·消息队列
imDwAaY3 天前
消息队列四大核心问题:顺序性、幂等性、可靠性与一致性
学习·kafka·rabbitmq
wno7043 天前
Spring Boot整合Kafka
spring boot·kafka
音符犹如代码4 天前
Kafka 接入 AI 的三条路线:MCP 提案、会话记忆与实时上下文
java·大数据·ai·kafka
happy_king_zi4 天前
kafka两种部署模式的区别
kafka·消息队列·sre
happy_king_zi4 天前
Kafka 3.9.2 KRaft 模式三节点集群完整部署指南
kafka·消息队列
明快de玄米614 天前
Kafka 可靠消息投递:核心机制总结
kafka
明快de玄米614 天前
Kafka:基于 Outbox 的可靠消息投递完整方案
kafka
szephyr5 天前
消息队列入门:RabbitMQ 和 Kafka 到底怎么选,什么时候不该用
后端·架构·kafka·消息队列·rabbitmq