kafka--基础知识点--6.3--leader epoch机制

1 基于HW同步机制

在 0.11.0.0 版本之前, Kafka使用的是基于HW的同步机制,这种会在故障恢复时出现数据丢失数据不一致的情况。

示例:

请看Kafka可靠性之HW与Leader Epoch 中的 HW机制之丢失消息HW机制之数据不一致 两部分。

补充:

  • 要想理解为什么会出现数据丢失和数据不一致,对 基于hw截断 的理解 很重要,主要要理解在出现故障恢复后是怎么截断的,其实对于截断并没有什么特别的机制,只是关键在于在故障恢复后继续 follower基于HW同步机制 同步leader的消息,follower发送fetch[包含leo]请求给leader,leader计算HW=min(leader_LEO,follower1_leader,...),此处假设只有一个follower,然后leader响应给follower,然后follower拿到leader响应的HW后,基于此HW进行后边的消息同步,即:如果follower原来的LEO>HW,因为此时是从HW开始同步的,对于follower的原始消息来说就相当于截断了HW后原来的消息。

2 epoch机制

为了解决故障恢复时基于 HW同步机制 出现的数据丢失数据不一致的情况, 0.11.0.0 版本加入了epoch机制。

epoch机制: 请看Kafka可靠性之HW与Leader Epoch 中的leader epoch 方案 部分。

相关推荐
optimistic_chen3 分钟前
【Redis 系列】持久化特性
linux·数据库·redis·分布式·中间件·持久化
论迹6 分钟前
RabbitMQ
分布式·rabbitmq
Java 码农7 分钟前
RabbitMQ集群部署方案及配置指南08--电商业务延迟队列定制化方案
大数据·分布式·rabbitmq
CodeAmaz21 分钟前
分布式 ID 方案(详细版)
分布式·分布式id
利刃大大2 小时前
【RabbitMQ】安装详解 && 什么是MQ && RabbitMQ介绍
分布式·中间件·消息队列·rabbitmq·mq
新猿一马2 小时前
Spring Kafka核心参数说明
kafka
QQ_4376643142 小时前
kafka
分布式·kafka
是一个Bug2 小时前
Java后端开发面试题清单(50道) - 分布式基础
java·分布式·wpf
大猫和小黄2 小时前
Java ID生成策略全面解析:从单机到分布式的最佳实践
java·开发语言·分布式·id
ZePingPingZe2 小时前
CAP—ZooKeeper ZAB协议:从理论到实践的一致性与可用性平衡之道
分布式·zookeeper