kafka--基础知识点--6.3--leader epoch机制

1 基于HW同步机制

在 0.11.0.0 版本之前, Kafka使用的是基于HW的同步机制,这种会在故障恢复时出现数据丢失数据不一致的情况。

示例:

请看Kafka可靠性之HW与Leader Epoch 中的 HW机制之丢失消息HW机制之数据不一致 两部分。

补充:

  • 要想理解为什么会出现数据丢失和数据不一致,对 基于hw截断 的理解 很重要,主要要理解在出现故障恢复后是怎么截断的,其实对于截断并没有什么特别的机制,只是关键在于在故障恢复后继续 follower基于HW同步机制 同步leader的消息,follower发送fetch[包含leo]请求给leader,leader计算HW=min(leader_LEO,follower1_leader,...),此处假设只有一个follower,然后leader响应给follower,然后follower拿到leader响应的HW后,基于此HW进行后边的消息同步,即:如果follower原来的LEO>HW,因为此时是从HW开始同步的,对于follower的原始消息来说就相当于截断了HW后原来的消息。

2 epoch机制

为了解决故障恢复时基于 HW同步机制 出现的数据丢失数据不一致的情况, 0.11.0.0 版本加入了epoch机制。

epoch机制: 请看Kafka可靠性之HW与Leader Epoch 中的leader epoch 方案 部分。

相关推荐
渔民小镇1 小时前
4 行代码接入 Spring —— ionet 的生态融合之道
java·服务器·分布式·游戏
苍煜2 小时前
Kafka vs RocketMQ 生产环境选型指南
分布式·kafka·rocketmq
m0_716255003 小时前
第二部分 电商离线数仓 全套项目代码(可直接在你伪分布式 Hive 运行)
hive·hadoop·分布式
旷世奇才李先生3 小时前
Spring Cloud Alibaba 2026微服务全栈实战:服务治理\+流量控制\+分布式事务
分布式·微服务·架构
Amy187021118233 小时前
虚拟电厂为什么必须“牵手”微电网?答案全在这里
分布式·安全·能源
旷世奇才李先生5 小时前
Redis 7\.0实战:分布式缓存与高可用集群搭建全指南
redis·分布式·缓存
_Evan_Yao1 天前
内存映射文件与零拷贝:Kafka、RocketMQ 飞升的秘密通道
分布式·kafka·rocketmq
与遨游于天地1 天前
分布式锁从Redis到Redisson的演进
数据库·redis·分布式
Francek Chen1 天前
【大数据存储与管理】实验3:熟悉常用的HBase操作
大数据·数据库·分布式·hbase
七夜zippoe1 天前
DolphinDB分布式表:创建与管理
数据库·分布式·维度·dolphindb·数据写入