kafka leader选举过程浅析

文章目录

概要

kafka我们都知道它是通过副本机制,来支持负载均衡和故障转移等高可用的,那么具体副本的选举过程你了解吗?下面我们一起来学习下吧!

核心概念

  • Controller定义:是特殊的节点,是集群众负责管理和资源调度的Broker节点,当集群中所有Broker节点启动时,都会向zk创建controller目录,这个zk节点是"临时节点",第一个创建成功的broker,即 成为了"controller"节点。
  • Controller节点作用:负责监听broker,topic,partition的变更,获取他们的信息,partition的主从副本的选举。
  • ISR集合:与leader节点同步的follower节点,默认leader和follower的数据落后不能大于10s,否则就被剔除ISR集合。只有在ISR集合的Follower,才能作为选举主副本的候选人。

leader选举具体流程

  1. 当leader broker挂了,所有其他节点会监听到该节点watch事件变更,这些节点发起创建controller临时节点的请求到ZK,第一个创建成功的节点,成为controller节点,负责下面的partition的选举。
  2. controller 根据ISR集合中的Follwer数据,比如:ISR=[3,2,7],按照其集合中的顺序轮询选举leader,这里编号3的follwer被选举为leader,接下来会从zk中复制元数据信息到本地,开始管理其他follower节点。
  3. 下图简单描述了选举过程

小结

复制代码
总结下kafka的选举具体过程
Controller:负责选举
ISR:作为候选人集合
选举规则:候选人集合按照轮询策略选举
今天的文章就分享到这了,后续会继续更新的,欢迎大家一起交流和探讨,有不对的地方,请留言哈。
相关推荐
珠海西格5 小时前
远动通信装置为何是电网安全运行的“神经中枢”?
大数据·服务器·网络·数据库·分布式·安全·区块链
CTO Plus技术服务中6 小时前
分布式存储HBase开发与运维教程
运维·分布式·hbase
indexsunny6 小时前
互联网大厂Java求职面试实战:Spring Boot微服务与Kafka消息队列应用解析
java·数据库·spring boot·微服务·面试·kafka·jpa
飞乐鸟7 小时前
Github 16.8k Star!推荐一款开源的高性能分布式对象存储系统!
分布式·开源·github
panzer_maus8 小时前
分布式锁的概念
分布式
Lansonli8 小时前
大数据Spark(七十九):Action行动算子countByKey和countByValue使用案例
大数据·分布式·spark
少许极端10 小时前
Redis入门指南(八):从零到分布式缓存-集群机制、缓存机制、分布式锁
redis·分布式·缓存·分布式锁
珠海西格19 小时前
“主动预防” vs “事后补救”:分布式光伏防逆流技术的代际革命,西格电力给出标准答案
大数据·运维·服务器·分布式·云计算·能源
AC赳赳老秦21 小时前
专利附图说明:DeepSeek生成的专业技术描述与权利要求书细化
大数据·人工智能·kafka·区块链·数据库开发·数据库架构·deepseek
小邓吖21 小时前
自己做了一个工具网站
前端·分布式·后端·中间件·架构·golang