Kafka如何保证高可用
- Kafka
-
- 副本机制
- [ISR(In-Sync Replicas)机制](#ISR(In-Sync Replicas)机制)
- Leader选举与故障恢复
Kafka
kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统。也是一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。
副本机制
在集群中,每个分区都可以有多个副本,这些副本中包含了一个Leader和多个Follower,只有Leader才能处理生产者和消费者的请求,而Follower只是Leader的备份,用于提供数据的冗余备份和容错能力。如果Leader发生故障,Kafka集群会自动将Follower提升为新的Leader。
ISR(In-Sync Replicas)机制
- 在Kafka中,每个主题分区可以有多个副本,ISR是与主副本保持同步的副本集合,只有ISR内的副本才有资格参与Leader的选举。
- 当消息被写入到Kafka的分区时,它首先会被写入Leader,然后将消息复制给ISR中的所有副本。只有当ISR中的所有副本都成功接收并确认消息之后,主副本才会认为消息已成功提交。
- Follower需在replica.lag.time.max.ms时间内与Leader保持同步,否则会被移出ISR
Leader选举与故障恢复
- 当Leader宕机时,Controller会从ISR中选举新Leader,选举通过Zookeeper协调完成
- 原Leader恢复后作为Follower重新同步数据并加入ISR