kafka--基础知识点--6.3--leader epoch机制

1 基于HW同步机制

在 0.11.0.0 版本之前, Kafka使用的是基于HW的同步机制,这种会在故障恢复时出现数据丢失数据不一致的情况。

示例:

请看Kafka可靠性之HW与Leader Epoch 中的 HW机制之丢失消息HW机制之数据不一致 两部分。

补充:

  • 要想理解为什么会出现数据丢失和数据不一致,对 基于hw截断 的理解 很重要,主要要理解在出现故障恢复后是怎么截断的,其实对于截断并没有什么特别的机制,只是关键在于在故障恢复后继续 follower基于HW同步机制 同步leader的消息,follower发送fetch包含leo请求给leader,leader计算HW=min(leader_LEO,follower1_leader,...),此处假设只有一个follower,然后leader响应给follower,然后follower拿到leader响应的HW后,基于此HW进行后边的消息同步,即:如果follower原来的LEO>HW,因为此时是从HW开始同步的,对于follower的原始消息来说就相当于截断了HW后原来的消息。

2 epoch机制

为了解决故障恢复时基于 HW同步机制 出现的数据丢失数据不一致的情况, 0.11.0.0 版本加入了epoch机制。

epoch机制: 请看Kafka可靠性之HW与Leader Epoch 中的leader epoch 方案 部分。

相关推荐
国服第二切图仔1 小时前
HarmonyOS APP《画伴梦工厂》开发第60篇-分布式软总线2.0——多设备协同新范式
分布式·wpf·harmonyos
952362 小时前
RabbitMQ-基础操作
java·spring boot·分布式·后端·spring·rabbitmq
worilb5 小时前
Spring Cloud 学习与实践(13):使用 Seata 解决分布式事务问题
分布式·学习·spring cloud
Devin~Y6 小时前
电商场景下的Java面试实战:从Spring Boot微服务到Kafka、Redis与AI RAG
java·spring boot·redis·elasticsearch·spring cloud·微服务·kafka
风若飞7 小时前
Tomcat 9.0.118 分布式 Redis Session 配置指南
redis·分布式·tomcat
六bring个六8 小时前
文件互传在传输层的操作分析
分布式·p2p·c/c++·open harmony
AllData公司负责人9 小时前
数据同步平台|AIIData数据中台实现MySQL、Hive、Kafka 一键接入Doris
大数据·数据库·hive·mysql·kafka·实时同步
吴声子夜歌9 小时前
Redis 5.x——分布式锁
redis·分布式
我登哥MVP1 天前
Hadoop成长史-从Nutch子项目到大数据生态王者
java·大数据·hadoop·分布式·云原生·云计算
凯云-金山HIL1 天前
打破仿真孤岛:基于凯云SimuRTS的分布式联合仿真系统架构深度解析
自动化测试·分布式·系统架构·etest·半实物仿真