大数据面试题:Kafka的ISR机制

面试题来源:

《大数据面试题 V4.0》

大数据面试题V3.0,523道题,679页,46w字

可回答:1)从ISR踢出去之后呢;2)一般Leader怎么判断Follower挂掉?

参考答案:

ISR(In-Sync Replicas):副本同步队列

ISR是Leader维护的一个动态副本同步队列,是和Leader保持同步的Follower集合。Kafka通过多副本来保证消息不丢失。

每一个Leader partition都有一个ISR,Leader动态维护,要保证Kafka不丢失message,就要保证ISR这组集合存活(至少有一个存活),并且消息commit成功。Partition Leader保持同步的Partition Follower集合,当ISR中Partition Follower完成数据的同步之后,就会给Leader发送ack。如果Partition Follower长时间(replica.lag.time.max.ms,默认10s)未向Leader同步数据,则该Partition Follower将被踢出ISR,存入OSR(Outof-Sync Replicas)列表(AR = ISR + OSR,AR(Assigned Repllicas):一个partition的所有副本(就是replica,不区分Leader或Follower)),新加入的Follower也会先存放在OSR中。Partition Leader发生故障之后,就会从ISR中选举新的Partition Leader。

相关推荐
isfox9 小时前
Hadoop 版本进化论:从 1.0 到 2.0,架构革命全解析
大数据·后端
腾讯云中间件10 小时前
限流系列之二:TDMQ CKafka 版限流方案详解及最佳实践
kafka·消息队列·腾讯
星环科技TDH社区版11 小时前
星环科技产品可存储的表格式功能介绍以及创建示例
大数据·数据库
百度Geek说12 小时前
百度垂搜数据管理系统弹性调度优化实践
大数据·搜索引擎
bug菌12 小时前
CAP定理真的是死结?业务系统到底该怎么取舍!
分布式·后端·架构
白鲸开源14 小时前
DSIP-91提案解读:简化工作流调试和发布的方案,等你来探讨!
大数据
腾讯云中间件15 小时前
TDMQ CKafka 版事务:分布式环境下的消息一致性保障
kafka·消息队列·腾讯
Edingbrugh.南空16 小时前
Kafka Connect生产实践:性能优化与高可用架构构建
性能优化·架构·kafka
龘龍龙16 小时前
RabbitMQ-延时队列
分布式·rabbitmq
C++ 老炮儿的技术栈17 小时前
VSCode -配置为中文界面
大数据·c语言·c++·ide·vscode·算法·编辑器