大数据面试题:Kafka的ISR机制

面试题来源:

《大数据面试题 V4.0》

大数据面试题V3.0,523道题,679页,46w字

可回答:1)从ISR踢出去之后呢;2)一般Leader怎么判断Follower挂掉?

参考答案:

ISR(In-Sync Replicas):副本同步队列

ISR是Leader维护的一个动态副本同步队列,是和Leader保持同步的Follower集合。Kafka通过多副本来保证消息不丢失。

每一个Leader partition都有一个ISR,Leader动态维护,要保证Kafka不丢失message,就要保证ISR这组集合存活(至少有一个存活),并且消息commit成功。Partition Leader保持同步的Partition Follower集合,当ISR中Partition Follower完成数据的同步之后,就会给Leader发送ack。如果Partition Follower长时间(replica.lag.time.max.ms,默认10s)未向Leader同步数据,则该Partition Follower将被踢出ISR,存入OSR(Outof-Sync Replicas)列表(AR = ISR + OSR,AR(Assigned Repllicas):一个partition的所有副本(就是replica,不区分Leader或Follower)),新加入的Follower也会先存放在OSR中。Partition Leader发生故障之后,就会从ISR中选举新的Partition Leader。

相关推荐
Data-Miner7 小时前
需要做财务数据分析,有什么好用的工具?从准备到出报告的实操指南
大数据·数据库·数据分析
阿里云大数据AI技术9 小时前
StarRocks × Paimon C++:加速湖上数据分析
大数据·人工智能
用户3610588626129 小时前
Flink 配置深度剖析:从配置加载到参数调优的完整指南
大数据·flink
ha_lydms9 小时前
Window Functions(窗口函数)
大数据·数据仓库·hadoop·spark·数据处理·dataworks·maxcompute
2601_9520477910 小时前
委外入库单同步:旺店通到金蝶云星空的实战配置
大数据·钉钉·制造
阿里云大数据AI技术10 小时前
【云栖实录】一切数据,皆可计算:MaxCompute 升级为AI Native全模态计算服务
大数据·人工智能·agent
珠海西格电力10 小时前
物联网(IoT)在零碳园区中的关键作用:万物互联与数据采集
大数据·人工智能·物联网·安全·系统架构·能源
一条泥憨鱼10 小时前
【Redis | 黑马点评】分布式锁;Lua脚本;Redisson与看门狗 |源码万字详解
redis·分布式·lua
AI产品测评官10 小时前
2026企业AI招聘选型指南:四类技术路线与硬科技场景适配方案
大数据·人工智能·科技·求职招聘·ai-native
SelectDB技术团队10 小时前
Snowflake 的开源替代怎么选:能力对照、三条部署路径与迁移执行
大数据·数据库·云原生·开源·snowflake·apache doris