Kafka Broker总体工作流程

上面是Zookeeper集群,下面是Kafka集群,两个集群通信:

1)每台Kafka Broker节点启动之后,都会向Zookeeper进行注册,告诉他,我开启了。Zookeeper注册[0,1,2];三台Broker启动之后,在Zookeeper里的/brokers/ids/就会增加三个节点;

  1. 注册完毕之后,Zookeeper就会选择Controller节点,每台Kafka Broke里面都有一个Controller,谁会成为未来Leader选举的老大呢?controller谁先注册,谁说了算,他们争先抢占名额,谁抢到了,谁负责日后Leader选举,假设broker0中的Controller抢到了;

3)上任第一天,由选举出来的Controller 监听brokers节点变化,随后Controller决定Leader选举。先来解释一下AR,AR:Kafka分区中 的所有副本统称。选举规则:在isr中存活为前提,按 照AR中排在前面的优先。例如 ar[1,0,2], isr [1,0,2],那么leader 就会按照1,0,2的顺序轮询;

  1. 假设现在选举出来Broker1为Leader,Controller将节点信息上传到ZK进行备份,告诉它我选了Broker1为Leader, isr 为[1,0,2],(图中的5);

  2. 其他contorller从zk同步相关信息,这样如果Controller Leader挂了,他们随时准备上位;

6)生产者往集群里发送数据,Follower主动跟Leader同步信息,底层存储的是Segment,大小1G;

7)集群应答,假设Leader挂了,Controller就能够监控到节点变化,从Zookeeper获取ISR,重新选举,选举规则一致,选举新的Leader之后,更新Zookeeper中的信息(Leader及ISR)。

相关推荐
梦里不知身是客119 小时前
kafka独立消费者案例(订阅主题)
分布式·kafka·linq
不见长安在13 小时前
分布式的cap,base,raft
分布式·raft·cap·base
小马爱打代码13 小时前
Spring Boot 3 :实现分布式追踪
spring boot·分布式·microsoft
兰雪簪轩17 小时前
仓颉Actor模型:分布式并发编程的优雅之道
分布式·wpf
失散1317 小时前
分布式专题——51 ES 深度分页问题及其解决方案详解
java·分布式·elasticsearch·架构
南山十一少18 小时前
基于 Spring Boot 与 RabbitMQ 的分布式消息通信机制设计与实现
spring boot·分布式·java-rabbitmq
陈果然DeepVersion19 小时前
Java大厂面试真题:从Spring Boot到AI微服务的三轮技术拷问(一)
java·spring boot·redis·微服务·kafka·面试题·oauth2
一瓢一瓢的饮 alanchan21 小时前
Flink原理与实战(java版)#第1章 Flink快速入门(第一节IDE词频统计)
java·大数据·flink·kafka·实时计算·离线计算·流批一体化计算
happy_king_zi1 天前
RabbitMQ-Exporter 监控 TLS 加密的 RabbitMQ 集群
分布式·安全·rabbitmq·prometheus
CodeAmaz1 天前
Zookeeper 分布式锁实战版
java·分布式·后端·zookeeper