Kafka高可用机制总结

1. 集群模式

1.1组成结构

Kafka集群由多个broker实例构成,每个broker是一个Kafka实例。

1.2高可用保障

某一台broker宕机时,其他broker仍可对外提供服务,保证了集群的高可用性。但仅回答此点过于简单,需结合分区复制机制回答以更好应对面试官。

2. 分区复制机制初步

2.1分区与副本

  • 一个topic分为多个分区,每个分区有多个副本,且分布在不同broker。如一个topic有三个分区p0、p1、p2,每个分区有三个副本,存储在不同broker。
  • 副本间为主从关系,同一分区的所有副本内容相同。

2.2数据同步方式

  • 生产者按策略将消息存储到不同分区,Kafka内部为分区提供副本机制以保证高可用性。
  • 分区副本分为ISR副本(同步请求方式,数据更完整)和普通副本(异步请求方式,效率高但不能保证数据完整性)。
  • ISR 的全称是 "in sync replica",即 "需要同步复制保存的副本"。在 Kafka 中,ISR 副本在同步数据时采用同步请求方式,能更好地保证数据完整性。

2.3选主原则

Kafka分区副本的选主原则是

  • 先从ISR列表中选择leader副本
  • 当ISR列表中的副本均宕机时,才从普通副本中选择一个作为leader。
  1. 优先从ISR列表选主:ISR副本采用同步请求方式同步数据,数据完整性更好,所以在正常情况下,会优先从ISR列表中挑选leader副本。
  2. ISR列表副本均宕机时的处理 :如果ISR列表中的所有副本都不可用,此时为了保证系统的基本运行,会从普通副本中选择一个作为leader。普通副本采用异步请求方式同步数据,虽然效率较高,但数据完整性不能完全保证。

这种选主原则的设计旨在平衡数据完整性和系统可用性之间的关系,

确保在不同情况下Kafka系统都能尽量稳定运行。

3. ISR配置

3.1可配置性

在broker配置文件中可设定topic副本数量和ISR最少个数,需根据实际情况设置。

3.2设置考量

不能将所有副本设为ISR,因为ISR同步保存数据性能不高,普通副本异步保存数据效率更高。一般至少设置一个ISR列表,其他设为普通副本,以平衡高可用性和数据存储时效性。

4. 面试回答建议

4.1回答框架

从集群和复制机制两个层面回答。集群层面提及由多个broker组成,宕机不影响对外服务;复制机制层面详细阐述分区、副本、副本存储、主从关系、数据同步方式、选主原则等。

4.2应对追问

若面试官追问ISR,需解释ISR是需要同步复制保存的副本,分区副本分为ISR副本(同步请求)和普通副本(异步请求),以及选主原则与ISR的关系等。

相关推荐
Flynt7 小时前
Redis Cluster主节点挂了,为什么"高可用"还全员掉线?我把三次kill的记录翻出来了
数据库·redis·分布式
JosieBook9 小时前
【数据库】MySQL 实战精通系列 · 第10篇:分库分表与分布式事务实战
数据库·分布式·mysql
梦帮科技12 小时前
vLLM / TensorRT-LLM 极限推理:PagedAttention 细粒度物理页表管理与连续批处理(Continuous Batching)实战
数据结构·人工智能·分布式·python·深度学习·算法·vllm
用户14944848132014 小时前
同为消息队列,RocketMQ 和 Kafka 的底层设计差在哪?
kafka
Frank_refuel18 小时前
分布式RPC框架实战(二):服务端模块划分与底层设计
分布式·网络协议·rpc
开开心心就好18 小时前
办公软件卸载不干净?专用工具一键清残留
java·前端·人工智能·智能手机·kafka·excel·memcache
mftang1 天前
EtherCAT协议:从“飞读飞写”机制到分布式时钟同步的实时以太网架构深度解析
分布式·架构·ethercat·分布式时钟·从站控制器
ShineWinsu2 天前
对于Redis:Hash类型的解析
c++·redis·分布式·缓存·面试·hash·哈希表
东方芷兰2 天前
Agent 技术摘要 03 —— 基座模型、推理模型、Flash、联邦学习、分布式机器学习
人工智能·分布式·机器学习
程序猿乐锅2 天前
【黑马点评 | 第十一篇】关注 Feed 流实现
java·数据库·redis·分布式·后端·缓存·maven