大数据面试题:Kafka的ISR机制

面试题来源:

《大数据面试题 V4.0》

大数据面试题V3.0,523道题,679页,46w字

可回答:1)从ISR踢出去之后呢;2)一般Leader怎么判断Follower挂掉?

参考答案:

ISR(In-Sync Replicas):副本同步队列

ISR是Leader维护的一个动态副本同步队列,是和Leader保持同步的Follower集合。Kafka通过多副本来保证消息不丢失。

每一个Leader partition都有一个ISR,Leader动态维护,要保证Kafka不丢失message,就要保证ISR这组集合存活(至少有一个存活),并且消息commit成功。Partition Leader保持同步的Partition Follower集合,当ISR中Partition Follower完成数据的同步之后,就会给Leader发送ack。如果Partition Follower长时间(replica.lag.time.max.ms,默认10s)未向Leader同步数据,则该Partition Follower将被踢出ISR,存入OSR(Outof-Sync Replicas)列表(AR = ISR + OSR,AR(Assigned Repllicas):一个partition的所有副本(就是replica,不区分Leader或Follower)),新加入的Follower也会先存放在OSR中。Partition Leader发生故障之后,就会从ISR中选举新的Partition Leader。

相关推荐
失散1318 小时前
分布式专题——10.4 ShardingSphere-Proxy服务端分库分表
java·分布式·架构·shardingsphere·分库分表
方圆想当图灵1 天前
如何让百万 QPS 下的服务更高效?
分布式·后端
小花鱼20251 天前
Elasticsearch (ES)相关
大数据·elasticsearch
TDengine (老段)1 天前
TDengine 选择函数 TOP() 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
Dobby_051 天前
【Hadoop】分布式文件系统 HDFS
大数据·hadoop·分布式
哈哈很哈哈1 天前
Spark 核心 RDD详解
大数据·分布式·spark·scala
智海观潮1 天前
Spark广播变量HttpBroadcast和TorrentBroadcast对比
大数据·spark
项目題供诗1 天前
Hadoop(十一)
大数据·hadoop·分布式
青云交1 天前
Java 大视界 -- Java 大数据在智能家居场景联动与用户行为模式挖掘中的应用
java·大数据·智能家居·边缘计算·户型适配·行为挖掘·场景联动
shinelord明1 天前
【数据行业发展】可信数据空间~数据价值的新型基础设施
大数据·架构·云计算·创业创新