kafka--基础知识点--6.3--leader epoch机制

1 基于HW同步机制

在 0.11.0.0 版本之前, Kafka使用的是基于HW的同步机制,这种会在故障恢复时出现数据丢失数据不一致的情况。

示例:

请看Kafka可靠性之HW与Leader Epoch 中的 HW机制之丢失消息HW机制之数据不一致 两部分。

补充:

  • 要想理解为什么会出现数据丢失和数据不一致,对 基于hw截断 的理解 很重要,主要要理解在出现故障恢复后是怎么截断的,其实对于截断并没有什么特别的机制,只是关键在于在故障恢复后继续 follower基于HW同步机制 同步leader的消息,follower发送fetch[包含leo]请求给leader,leader计算HW=min(leader_LEO,follower1_leader,...),此处假设只有一个follower,然后leader响应给follower,然后follower拿到leader响应的HW后,基于此HW进行后边的消息同步,即:如果follower原来的LEO>HW,因为此时是从HW开始同步的,对于follower的原始消息来说就相当于截断了HW后原来的消息。

2 epoch机制

为了解决故障恢复时基于 HW同步机制 出现的数据丢失数据不一致的情况, 0.11.0.0 版本加入了epoch机制。

epoch机制: 请看Kafka可靠性之HW与Leader Epoch 中的leader epoch 方案 部分。

相关推荐
无名-CODING9 小时前
分布式锁实战演练:跨越 JVM 的并发掌控者
jvm·分布式
standovon10 小时前
RabbitMQ 的介绍与使用
分布式·rabbitmq·ruby
2301_7679026412 小时前
ceph分布式存储(一)
分布式·ceph
2301_7679026412 小时前
ceph分布式存储(二)
分布式·ceph
狼与自由12 小时前
Redis 分布式锁
数据库·redis·分布式
1104.北光c°14 小时前
基于Canal + Kafka的高可用关注系统:一主多从关系链
java·开发语言·笔记·分布式·程序人生·kafka·一主多从
sjmaysee14 小时前
Spring Boot集成Kafka:最佳实践与详细指南
spring boot·kafka·linq
蜜獾云15 小时前
Kafka(1)-Kafka基本术语
分布式·kafka
珠海西格15 小时前
1MW光伏项目“四可”装置数据采集类设备具体配置详解
服务器·网络·人工智能·分布式·安全