14-Kafka-Day02 - 技术栈

第 4 章 Kafka Broker

4.1 Kafka Broker 工作流程

4.1.1 Zookeeper 存储的 Kafka 信息

（1）启动 Zookeeper 客户端。

bin/zkCli.sh

因为你在配置kafka的时候指定了它的名字。

（2）通过 ls 命令可以查看 kafka 相关信息。

复制代码

[zk: localhost:2181(CONNECTED) 2] ls /kafka

复制代码

zk中有一个节点 consumers 这个里面，老版本0.9版本之前，存放的是消费者的偏移量（offset，这次消费者消费到哪个地方了，下次从这个地方继续消费），新版本的根本没放在zk中，直接放在集群中了。

可以借助一个工具：漂亮的zoo，通过图形化界面查看zk中的消息。

4.1.2 Kafka Broker 总体工作流程

复制代码

1）每一个broker上线时，会在zk中进行注册
2）每个broker中都有一个controller，controller会争先抢占zk中 controller节点的注册权，谁先抢到，谁选举时说了算。假如broker0中的controller中抢到了，那它就是说了算的人。该controller一直监听ids节点是否有挂掉的节点。
3）选举规则是：在ISR中存活为前提，按照AR中排在前面的优先，例如 ar[1,0,2] ,isr[1,0,2],那么Leader会按照1，0，2 进行顺序的轮询。
4）选举出来的新节点，注册到zk中，将信息记录在zk中。
5）其他contorller将zk中的信息同步下来。
6）假定broker中的leader挂掉了，会进行重新的选举。
7）客户端发送消息给Leader，Leader记录数据，落盘，形成Log，Log底层使用的是Segment，Segment底层每一个G，是一个单独的文件，1G内的数据要想查找迅速又分成了两个文件 log和index.

模拟 Kafka 上下线，Zookeeper 中数据变化

（1）查看/kafka/brokers/ids 路径上的节点。

zk: localhost:2181(CONNECTED) 2\] ls /kafka/brokers/ids \[0, 1, 2

（2）停止 hadoop104 上的 kafka。

bin/kafka-server-stop.sh

（3）再次查看/kafka/brokers/ids 路径上的节点。

zk: localhost:2181(CONNECTED) 3\] ls /kafka/brokers/ids \[0, 1

实操：将hadoop13停止掉，会重新选举，两次查看的对比图如下：

4.2 生产经验------节点服役和退役

4.2.1 服役新节点

1）新节点准备

（1）关闭 bigdata03，进行一个快照，并右键执行克隆操作。

（2）开启 bigdata04，并修改 IP 地址。

复制代码

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改完记得重启网卡：
systemctl restart network

（3）在 bigdata04 上，修改主机名称为 bigdata04。

复制代码

hostname bigdata04    # 临时修改