Kafka如何防止消息丢失

  1. 持久化存储
    • Kafka 使用基于日志的存储模型。每个主题的分区都会被分割成多个片段(Segment),每个片段都是一个可追加的日志文件。
    • 生产者发送的每条消息都会被追加到对应分区的当前活跃片段(active segment)中。
    • 这种设计保证了消息在写入时是持久化的,即使在写入过程中发生故障,已经写入的消息也不会丢失。
  2. 副本机制
    • Kafka 使用副本来提高消息的可靠性和持久性。每个主题的分区可以配置多个副本,每个副本分布在不同的 Broker 上。
    • 每个分区都有一个 Leader 副本(Leader Replica)和多个 Follower 副本(Follower Replica)。
    • 生产者发送消息到 Leader 副本,然后 Leader 副本负责将消息复制到所有的 Follower 副本。
    • 如果 Leader 副本故障,Kafka 会从 Follower 副本中选举新的 Leader,确保分区的可用性和消息的持久性。
  3. 确认机制
    • Kafka 允许生产者配置消息的确认机制,以控制消息发送的可靠性和延迟:
      • acks=0:生产者发送消息后不等待任何确认,直接发送下一条消息。这种模式下消息丢失的风险较高,因为生产者不会知道消息是否成功接收。
      • acks=1:Leader 副本收到消息后会向生产者发送确认,生产者认为消息已经成功发送。
      • acks=all (或 acks=-1):Leader 和所有的 ISR(In-Sync Replicas,同步副本)都确认接收到消息后,生产者认为消息已经成功发送。
    • 较高的确认级别可以减少消息丢失的风险,但会增加延迟,因为需要等待多个副本的确认。
  4. ISR(In-Sync Replicas)机制
    • Kafka 使用 ISR 机制来处理副本的复制问题。
    • ISR 是一组与 Leader 副本保持同步的副本集合。只有在 ISR 中的副本才会被用来进行消息的读写操作。
    • 如果某个副本由于网络延迟或其他问题无法及时追赶 Leader 副本的进度,它将被移出 ISR,从而避免读取不一致的数据。
    • 这种机制确保了即使一些副本出现问题,仍然可以继续向客户端提供一致的数据。
相关推荐
P.H. Infinity2 小时前
【RabbitMQ】03-交换机
分布式·rabbitmq
java1234_小锋3 小时前
讲讲RabbitMQ 性能优化
kafka
龙哥·三年风水4 小时前
群控系统服务端开发模式-应用开发-个人资料
分布式·php·群控系统
funnyZpC6 小时前
quartz集群增强版🎉
java·分布式·开源·集群·定时任务
明达技术6 小时前
工业4.0时代下的分布式IO模块
分布式
天冬忘忧8 小时前
Spark 程序开发与提交:本地与集群模式全解析
大数据·分布式·spark
一叶飘零_sweeeet9 小时前
Dubbo 构建高效分布式服务架构
分布式·架构·dubbo
孤蓬&听雨10 小时前
RabbitMQ自动发送消息工具(自动化测试RabbitMQ)
分布式·测试工具·自动化·rabbitmq·自动发送消息
呼啦啦啦啦啦啦啦啦10 小时前
RabbitMQ 七种工作模式介绍
分布式·rabbitmq
qq_2037694910 小时前
win11安装最新rabbitmq
分布式·rabbitmq·ruby