Zookeeper 简单介绍

玉米侠爱吃玉米2024-04-15 13:40

目录

[一 zookeeper相关概念](#一 zookeeper相关概念)

[1，zookeeper 是什么](#1，zookeeper 是什么)

[2，Zookeeper 工作机制](#2，Zookeeper 工作机制)

[2.1 架构图描述](#2.1 架构图描述)

[2.2 文字描述](#2.2 文字描述)

[3，Zookeeper 特点](#3，Zookeeper 特点)

[4，Zookeeper 数据结构](#4，Zookeeper 数据结构)

[5，Zookeeper 应用场景](#5，Zookeeper 应用场景)

[二 Zookeeper 选举机制](#二 Zookeeper 选举机制)

1，相关概念

2，第一次启动选举机制

3，非第一次启动选举机制

[3,1 何时会出现](#3,1 何时会出现)

[3,2 非第一次启动选举机制时 集群里有leader 了](#3,2 非第一次启动选举机制时 集群里有leader 了)

[3.3 集群中确实不存在Leader](#3.3 集群中确实不存在Leader)

[三 布署 Zookeeper 集群](#三 布署 Zookeeper 集群)

1，实验环境

[2， 实验前准备（所有机器）](#2， 实验前准备（所有机器）)

[3，安装 Zookeeper（所有节点）](#3，安装 Zookeeper（所有节点）)

4，改配置文件（所有节点）

[5, 在每个节点上创建数据目录和日志目录,myid文件](#5, 在每个节点上创建数据目录和日志目录,myid文件)

[6， 配置 Zookeeper 启动脚本](#6， 配置 Zookeeper 启动脚本)

7，设置开机自启

[8，分别启动 Zookeeper](#8，分别启动 Zookeeper)

9，查看当前状态

一 zookeeper相关概念

1，zookeeper 是什么

Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。

2，Zookeeper 工作机制

2.1 架构图描述
2.2 文字描述

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说 Zookeeper = 文件系统 + 通知机制。

3，Zookeeper 特点

（1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。

（2）Zookeepe集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。

（3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。

（4）更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行，即先进先出。

（5）数据更新原子性，一次数据更新要么成功，要么失败。

（6）实时性，在一定时间范围内，Client能读到最新数据。

4，Zookeeper 数据结构

ZooKeeper数据模型的结构与Linux文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

5，Zookeeper 应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

●统一命名服务

在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。例如：IP不容易记住，而域名容易记住。
●统一配置管理

（1）分布式环境下，配置文件同步非常常见。一般要求一个集群中，所有节点的配置信息是一致的，比如Kafka集群。对配置文件修改后，希望能够快速同步到各个节点上。

（2）配置管理可交由ZooKeeper实现。可将配置信息写入ZooKeeper上的一个Znode。各个客户端服务器监听这个Znode。一旦 Znode中的数据被修改，ZooKeeper将通知各个客户端服务器。
●统一集群管理

（1）分布式环境中，实时掌握每个节点的状态是必要的。可根据节点实时状态做出一些调整。

（2）ZooKeeper可以实现实时监控节点状态变化。可将节点信息写入ZooKeeper上的一个ZNode。监听这个ZNode可获取它的实时状态变化。
●服务器动态上下线

客户端能实时洞察到服务器上下线的变化。
●软负载均衡

在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

二 Zookeeper 选举机制

1，相关概念

SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。

ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端"更新请求"的处理逻辑速度有关。

Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

2，第一次启动选举机制

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；

（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的myid比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING

（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；

（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；

（5）服务器5启动，同4一样当小弟。

3，非第一次启动选举机制

3,1 何时会出现

当ZooKeeper 集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举：

1）服务器初始化启动。

2）服务器运行期间无法和Leader保持连接。

3,2 非第一次启动选举机制时 集群里有leader 了

对于已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和 Leader机器建立连接，并进行状态同步即可。

3.3 集群中确实不存在Leader

假设ZooKeeper由5台服务器组成，SID分别为1、2、3、4、5，ZXID分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举。

选举Leader规则：

1.EPOCH大的直接胜出

2.EPOCH相同，事务id大的胜出

3.事务id相同，服务器id大的胜出

三 布署 Zookeeper 集群

1，实验环境

准备 3 台服务器做 Zookeeper 集群

192.168.217.22

192.168.217.44

192.168.217.55

2， 实验前准备（所有机器）

关闭防火墙

改主机名

检测java 环境

3，安装 Zookeeper（所有节点）

官方下载地址：https://archive.apache.org/dist/zookeeper/

下载

解压

改名

4，改配置文件（所有节点）

配置文件在conf 里 贴心的有一个模板 我们复制过来即可

vi zoo.cfg

代码如下:

bash 复制代码 
tickTime=2000   #通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10    #Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量），这里表示为10*2s
syncLimit=5     #Leader和Follower之间同步通信的超时时间，这里表示如果超过5*2s，Leader认为Follwer死掉，并从服务器列表中删除Follwer
dataDir=/usr/local/zookeeper-3.5.7/data      ●修改，指定保存Zookeeper中的数据的目录，目录需要单独创建
dataLogDir=/usr/local/zookeeper-3.5.7/logs   ●添加，指定存放日志的目录，目录需要单独创建
clientPort=2181   #客户端连：接端口
#添加集群信息
server.1=192.168.217.22:3188:3288
server.2=192.168.217.44:3188:3288
server.3=192.168.217.55:3188:3288

-------------------------------------------------------------------------------------
server.A=B:C:D
●A是一个数字，表示这个是第几号服务器。集群模式下需要在zoo.cfg中dataDir指定的目录下创建一个文件myid，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
●B是这个服务器的地址。
●C是这个服务器Follower与集群中的Leader服务器交换信息的端口。
●D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

5, 在每个节点上创建数据目录和日志目录,myid文件

在每个节点的dataDir指定的目录下创建一个 myid 的文件 分别输入1 2 3

6， 配置 Zookeeper 启动脚本

vim /etc/init.d/zookeeper

代码如下：

bash 复制代码 
#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)
	echo "---------- zookeeper 启动 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重启 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 状态 ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac

脚本解释：

  1. Shebang（#!）：

    复制代码

    Code

    1#!/bin/bash

    这一行告诉操作系统使用 /bin/bash 解释器来执行此脚本。它是每个 Bash 脚本的必备开头。

  2. chkconfig 注释行：

    复制代码

    Code

    1#chkconfig:2345 20 90

    这是针对 Red Hat 系统（如 CentOS、Fedora）的 chkconfig 工具的指令，用于将该脚本注册为系统服务，并设置其在特定运行级别（2、3、4、5）下启动和关闭时的优先级。这里的 20 表示启动优先级（数值越小，启动越早），90 表示停止优先级（数值越大，停止越晚）。

  3. description 注释行：

    复制代码

    Code

    1#description:Zookeeper Service Control Script

    提供了对脚本功能的简短描述，以便于系统管理员理解其用途。这对于使用 chkconfig 或类似服务管理工具时识别服务非常有用。

  4. 定义 ZK_HOME 变量：

    复制代码

    Code

    1ZK_HOME='/usr/local/zookeeper-3.5.7'

    设置环境变量 ZK_HOME，指定了 ZooKeeper 安装目录。后续操作会用到这个变量来访问 ZooKeeper 的相关文件。

  5. case ... esac 结构：

    复制代码

    Code

    1case $1 in
2start)
3    ...
4;;
5stop)
6    ...
7;;
8restart)
9    ...
10;;
11status)
12    ...
13;;
14*)
15    ...
16esac

    这是一个基于参数 $1（脚本接收的第一个命令行参数）的多分支选择结构。根据传入的参数值，执行相应的操作。支持的操作包括：start（启动 ZooKeeper）、stop（停止 ZooKeeper）、restart（重启 ZooKeeper）和 status（查看 ZooKeeper 状态）。如果传入的参数不匹配上述任何一个选项，则执行星号（*）后的默认分支。

  6. 各操作分支内容 ： 对于每个支持的操作（start、stop、restart、status），脚本执行以下操作：

    • 打印一条描述当前操作的提示信息。
    • 调用 $ZK_HOME/bin/zkServer.sh 脚本并传入对应的操作参数（start、stop、restart 或 status），以实现对 ZooKeeper 服务的实际控制。

  7. 默认分支（*）：

    复制代码

    Code

    1*)
2    echo "Usage: $0 {start|stop|restart|status}"

    如果传给脚本的参数不符合预期（即不是 start、stop、restart 或 status 中的一个），则打印使用帮助信息，提示用户正确使用该脚本。

综上所述，这个 Bash 脚本旨在提供一个便捷的方式来启动、停止、重启和检查 ZooKeeper 服务的状态，适用于基于 Red Hat 的 Linux 系统，并且假设 ZooKeeper 已安装在 /usr/local/zookeeper-3.5.7 目录下。用户只需运行脚本并指定一个操作参数（如 ./zookeeper_service_control.sh start），即可对 ZooKeeper 服务进行相应管理。

7，设置开机自启

8，分别启动 Zookeeper

9，查看当前状态

22 机器从：

44 机器 从

55 机器 主

相关推荐
可儿·四系桜2 小时前
如何在多台Linux虚拟机上安装和配置Zookeeper集群
linux·服务器·zookeeper
专家大圣3 小时前
云原生信息安全：筑牢数字化时代的安全防线
安全·云原生
月夜星辉雪3 小时前
【RabbitMQ 项目】服务端：路由交换模块
分布式·rabbitmq
super_journey3 小时前
RabbitMq中交换机（Exchange）、队列（Queue）和路由键（Routing Key）
分布式·中间件·rabbitmq
灰色孤星A5 小时前
分布式事务学习笔记(二)Seata架构、TC服务器部署、微服务集成Seata
分布式·微服务·架构·seata·分布式事务·tc服务器·微服务集成seata
MinIO官方账号6 小时前
从 HDFS 迁移到 MinIO 企业对象存储
人工智能·分布式·postgresql·架构·开源
数据智能老司机6 小时前
Kubernetes从入门到精通系列——外部 DNS 和全局负载均衡
云原生·容器·kubernetes
丁总学Java6 小时前
maxwell 输出消息到 kafka
分布式·kafka·maxwell
喜欢猪猪8 小时前
深度解析ElasticSearch：构建高效搜索与分析的基石原创
分布式
蘑菇蘑菇不会开花~9 小时前
分布式Redis（14）哈希槽
redis·分布式·哈希算法
热门推荐
01RAG 实践- Ollama+RagFlow 部署本地知识库02组基轨迹建模 GBTM的介绍与实现（Stata 或 R）032024年高教社杯数学建模国赛C题超详细解题思路分析04苍穹外卖面试总结05yolov8实战第五天——yolov8+ffmpg实时视频流检测并进行实时推流——（推流，保姆教学）06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07Coze扣子平台完整体验和实践（附国内和国际版对比）08CCF-CSP认证考试 202406-3 文本分词 100分题解09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文10软件工程从理论到实践客观题汇总(头歌第一章至第八章)