kafka--基础知识点--6.3--leader epoch机制

1 基于HW同步机制

在 0.11.0.0 版本之前, Kafka使用的是基于HW的同步机制,这种会在故障恢复时出现数据丢失 和数据不一致的情况。

示例:

请看Kafka可靠性之HW与Leader Epoch 中的 HW机制之丢失消息 和 HW机制之数据不一致 两部分。

补充:

  • 要想理解为什么会出现数据丢失和数据不一致,对 基于hw截断 的理解 很重要,主要要理解在出现故障恢复后是怎么截断的,其实对于截断并没有什么特别的机制,只是关键在于在故障恢复后继续 follower基于HW同步机制 同步leader的消息,follower发送fetch包含leo请求给leader,leader计算HW=min(leader_LEO,follower1_leader,...),此处假设只有一个follower,然后leader响应给follower,然后follower拿到leader响应的HW后,基于此HW进行后边的消息同步,即:如果follower原来的LEO>HW,因为此时是从HW开始同步的,对于follower的原始消息来说就相当于截断了HW后原来的消息。

2 epoch机制

为了解决故障恢复时基于 HW同步机制 出现的数据丢失 和数据不一致的情况, 0.11.0.0 版本加入了epoch机制。

epoch机制: 请看Kafka可靠性之HW与Leader Epoch 中的leader epoch 方案 部分。

相关推荐
ShineWinsu6 小时前
对于Redis:string类型的解析
java·c++·redis·分布式·缓存·面试·string
仍然.10 小时前
RabbitMQ---可靠性传输
网络·分布式·rabbitmq
灯澜忆梦12 小时前
【RabbitMQ #13】 | 延迟消息
分布式·rabbitmq·ruby
青山木13 小时前
秒杀系统设计(二):数据正确性——防超卖、分布式锁与一人一单
分布式·后端·mysql·中间件·架构
weixin_424183611 天前
开放—封闭原则实战(下):基于策略的流程编排与编译期多态
c++·分布式·系统架构
frjc1 天前
分布式事务:场景与选型决策表
分布式
GISMagic1 天前
5.《Designing Data-Intensive Applications》:系统设计与分布式能力提炼
分布式·ai coding
需要8261 天前
分布式 ID 生成:雪花算法、号段模式与时钟回拨
分布式·算法
灯澜忆梦1 天前
【RabbitMQ #11】 | 消费者可靠性
分布式·rabbitmq·ruby
仍然.1 天前
RabbitMQ---事务和消息分发
分布式·rabbitmq