Kafka Broker总体工作流程

上面是Zookeeper集群,下面是Kafka集群,两个集群通信:

1)每台Kafka Broker节点启动之后,都会向Zookeeper进行注册,告诉他,我开启了。Zookeeper注册0,1,2;三台Broker启动之后,在Zookeeper里的/brokers/ids/就会增加三个节点;

  1. 注册完毕之后,Zookeeper就会选择Controller节点,每台Kafka Broke里面都有一个Controller,谁会成为未来Leader选举的老大呢?controller谁先注册,谁说了算,他们争先抢占名额,谁抢到了,谁负责日后Leader选举,假设broker0中的Controller抢到了;

3)上任第一天,由选举出来的Controller 监听brokers节点变化,随后Controller决定Leader选举。先来解释一下AR,AR:Kafka分区中 的所有副本统称。选举规则:在isr中存活为前提,按 照AR中排在前面的优先。例如 ar1,0,2, isr 1,0,2,那么leader 就会按照1,0,2的顺序轮询;

  1. 假设现在选举出来Broker1为Leader,Controller将节点信息上传到ZK进行备份,告诉它我选了Broker1为Leader, isr 为1,0,2,(图中的5);

  2. 其他contorller从zk同步相关信息,这样如果Controller Leader挂了,他们随时准备上位;

6)生产者往集群里发送数据,Follower主动跟Leader同步信息,底层存储的是Segment,大小1G;

7)集群应答,假设Leader挂了,Controller就能够监控到节点变化,从Zookeeper获取ISR,重新选举,选举规则一致,选举新的Leader之后,更新Zookeeper中的信息(Leader及ISR)。

相关推荐
半夜修仙43 分钟前
RabbitMQ中如何保证消息的可靠性传输
java·分布式·中间件·rabbitmq·github·java-rabbitmq
小二·3 小时前
Redis 7 分布式缓存架构实战
redis·分布式·缓存
zhuhai_xigedian3 小时前
源网荷储一体化 vs 传统供用电模式:差异、优势与转型路径
大数据·人工智能·分布式·系统架构·能源
凯源智能5 小时前
屋顶分布式光伏箱变远程测控实战:宝鸡法士特项目高效交付解析
分布式
Amy187021118236 小时前
东南亚智慧物流园区的“隐形守护者”:有源滤波柜如何驯服变频器5/7次谐波
分布式·能源
闪电悠米7 小时前
黑马点评-Redis 消息队列-04_stream_seckill_order
数据库·redis·分布式·缓存·oracle·junit·lua
HLAIA光子7 小时前
分布式锁与事务:你的微服务可能根本不需要它们
分布式·后端·微服务
bmjIjFNC87 小时前
Redis分布式锁进第九十一篇
数据库·redis·分布式
段一凡-华北理工大学7 小时前
工业领域的Hadoop架构学习~系列文章24:adoop工业应用总结与展望 - 技术路线图与最佳实践
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
我是一颗柠檬8 小时前
【Java项目技术亮点】读写分离+主从延迟处理:MySQL高并发下的性能优化方案
java·分布式·mysql·性能优化