Kafka 控制器(controller)

Kafka 控制器(controller)

在kafka集群中 会存在一个或者多个broker(一个服务器就是一个broker),其中有一个broker会被选举为控制器 kafka controller ,负责管理整个集群中所有副本、分区的状态,主要为以下三个功能:

  • 当某个分区中的leader 副本发生故障时,控制器负责选举新的leader副本
  • 某个分区的ISR信息发生变化时,控制器负责通知所有的broker更新元数据信息
  • 某个topic增加分区时,控制器负责分区的重新分配

控制器如何选举呢?

依赖于zookeeper,选举成功的controller会在zk中创建/controller临时节点。

每个broker在启动的时候都会尝试创建一个controller节点,但是只有一个可以成功,创建成功后的临时节点 内容可以如下所示:

{"version":1,"brokerid":0,"timestamp":"xxxxxxxxx"}

version貌似目前是固定的

brokerid 表示选举成功的broker

timestamp 表示选举成功时的时间戳

另外 在zk中还有一个/controller_epoch持久节点,记录当前的控制器是第几代控制器,初始值为1,保证控制器的唯一性。

控制器在选举成功后会读取zk的各个节点数据来初始化上下文信息,这些信息需要同步到其他的普通broker节点中。这就涉及到线程安全问题,kafka控制器是如何确保线程安全的同时又确保性能的呢?

如图所示,将每个事件(这些事件会读取或者更新上下文信息)封装,按照先后顺序暂存到LinkedBlockingQueue中,使用一个ControllorEventThread线程按照FIFO的原则处理各个事件

优雅关闭:

kafka-server-stop.sh 不一定都有用。

分区leader的选举

由kafka controllor负责,选举规则:在ISR中存活,在AR中靠前的第一个。

ISR:表示和 Leader 保持同步的 Follower 集合 ("活着"),follower长时间没有向leader发送通信请求或者同步数据,就会被踢出isr,时间由replica.lag.time.max.ms参数设定默认是30s。

OSR:表示延迟过多的副本。("死了")

AR:ISR+OSR

参考:《深入理解 Kafka:核心设计与实践原理》

相关推荐
不太可爱的叶某人21 小时前
【学习笔记】kafka权威指南——第7章 构建数据管道(7-10章只做了解)
笔记·学习·kafka
青云交1 天前
Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备故障预测与智能运维中的应用
java·flink·kafka·工业物联网·设备故障预测·智能运维·实时流处理
编啊编程啊程2 天前
gRPC从0到1系列【20】
java·rpc·kafka·dubbo·nio
Hello.Reader2 天前
在运行中的 Kafka 集群渐进式启用安全零停机实战手册(KRaft/Broker 通用)
分布式·安全·kafka
飘飞雪2 天前
深入浅出kafka:kafka演进以及核心功能介绍
数据库·分布式·kafka
不太可爱的叶某人2 天前
【学习笔记】kafka权威指南——第1章 初识kafka
笔记·学习·kafka
不太可爱的叶某人2 天前
【学习笔记】kafka权威指南——第3章 kafka生产者—向kafka写入数据
笔记·学习·kafka
爱敲代码的TOM3 天前
详解Kafka2-进阶机制
kafka
Hello.Reader4 天前
Kafka 授权与 ACL 深入实践
分布式·kafka·linq
z晨晨5 天前
互联网大厂Java求职面试实战:Spring Boot与微服务场景深度解析
java·spring boot·redis·微服务·kafka·spring security·电商