大数据面试题:Kafka的ISR机制

面试题来源:

《大数据面试题 V4.0》

大数据面试题V3.0,523道题,679页,46w字

可回答:1)从ISR踢出去之后呢;2)一般Leader怎么判断Follower挂掉?

参考答案:

ISR(In-Sync Replicas):副本同步队列

ISR是Leader维护的一个动态副本同步队列,是和Leader保持同步的Follower集合。Kafka通过多副本来保证消息不丢失。

每一个Leader partition都有一个ISR,Leader动态维护,要保证Kafka不丢失message,就要保证ISR这组集合存活(至少有一个存活),并且消息commit成功。Partition Leader保持同步的Partition Follower集合,当ISR中Partition Follower完成数据的同步之后,就会给Leader发送ack。如果Partition Follower长时间(replica.lag.time.max.ms,默认10s)未向Leader同步数据,则该Partition Follower将被踢出ISR,存入OSR(Outof-Sync Replicas)列表(AR = ISR + OSR,AR(Assigned Repllicas):一个partition的所有副本(就是replica,不区分Leader或Follower)),新加入的Follower也会先存放在OSR中。Partition Leader发生故障之后,就会从ISR中选举新的Partition Leader。

相关推荐
小奏技术22 分钟前
Kafka要保证消息的发送和消费顺序性似乎没那么简单
后端·kafka
小五Z23 分钟前
Redis--事务
redis·分布式·后端·缓存
TDengine (老段)2 小时前
TDengine 语言连接器(Node.js)
大数据·c语言·数据库·物联网·node.js·时序数据库·tdengine
明月看潮生3 小时前
青少年编程与数学 02-016 Python数据结构与算法 23课题、分布式算法
分布式·python·算法·青少年编程·编程与数学
jinan8864 小时前
加密软件的发展:从古典密码到量子安全
大数据·运维·服务器·网络·安全·web安全
[email protected]4 小时前
ASP.NET Core 性能优化:分布式缓存
分布式·缓存·性能优化·asp.net·.netcore
CC数学建模5 小时前
第十七届“华中杯”大学生数学建模挑战赛题目A题 晶硅片产销策略优化 完整成品 代码 模型 思路 分享
大数据
bulucc6 小时前
回归,git 分支开发操作命令
大数据·git·elasticsearch
计算机毕设定制辅导-无忧学长6 小时前
TDengine 存储引擎剖析:数据文件与索引设计(二)
大数据·时序数据库·tdengine
计算机毕设定制辅导-无忧学长6 小时前
TDengine 存储引擎剖析:数据文件与索引设计(一)
大数据·时序数据库·tdengine