kafka--基础知识点--6.3--leader epoch机制

1 基于HW同步机制

在 0.11.0.0 版本之前, Kafka使用的是基于HW的同步机制,这种会在故障恢复时出现数据丢失 和数据不一致的情况。

示例:

请看Kafka可靠性之HW与Leader Epoch 中的 HW机制之丢失消息 和 HW机制之数据不一致 两部分。

补充:

  • 要想理解为什么会出现数据丢失和数据不一致,对 基于hw截断 的理解 很重要,主要要理解在出现故障恢复后是怎么截断的,其实对于截断并没有什么特别的机制,只是关键在于在故障恢复后继续 follower基于HW同步机制 同步leader的消息,follower发送fetch包含leo请求给leader,leader计算HW=min(leader_LEO,follower1_leader,...),此处假设只有一个follower,然后leader响应给follower,然后follower拿到leader响应的HW后,基于此HW进行后边的消息同步,即:如果follower原来的LEO>HW,因为此时是从HW开始同步的,对于follower的原始消息来说就相当于截断了HW后原来的消息。

2 epoch机制

为了解决故障恢复时基于 HW同步机制 出现的数据丢失 和数据不一致的情况, 0.11.0.0 版本加入了epoch机制。

epoch机制: 请看Kafka可靠性之HW与Leader Epoch 中的leader epoch 方案 部分。

相关推荐
一条泥憨鱼12 小时前
【Redis | 黑马点评】分布式锁;Lua脚本;Redisson与看门狗 |源码万字详解
redis·分布式·lua
stark张宇13 小时前
库存扣减的“锁”事:悲观锁、乐观锁、分布式锁
redis·分布式·mysql
xianyuCcCcCCCcc16 小时前
Ceph 分布式存储:集群配置与存储池管理
运维·分布式·ceph
萧瑟余晖18 小时前
Spring Cloud分布式事务与链路追踪详解
分布式·spring·spring cloud
汤姆宝库18 小时前
预训练工程深拆:Scaling_Law、数据管线与分布式并行
分布式
pjj1985419 小时前
Spark RDD 核心知识详解:算子、依赖与执行模型
大数据·分布式·spark
SL-staff19 小时前
JVS私有化部署运维避坑指南:Kafka容灾、ES冷热分离、RabbitMQ可观测性三实战检查项
elasticsearch·kafka·jvs运维·es冷热分离·rabbitmq监控·中间件巡检·sre实践
starzy199019 小时前
KafkaProducer 源码深度剖析:支撑高吞吐的数据结构设计
大数据·数据结构·kafka
浔溺19 小时前
Spark核心基石:RDD全方位深度解析(原理、算子、实战、优化)
大数据·分布式·spark
catino20 小时前
RabbitMQ详解
分布式·rabbitmq·ruby