Zookeeper基础入门-1【集群搭建】
- [一、Zookeeper 入门](#一、Zookeeper 入门)
-
- 1.1.概述
- 1.2.Zookeeper工作机制
- 1.3.Zookeeper特点
- 1.4.数据结构
- 1.5.应用场景
- 1.6.Zookeeper官网
-
- 1.6.1.Zookeeper下载
- 1.6.2.历史版本
- [1.6.3.下载Linux 环境安装的tar包](#1.6.3.下载Linux 环境安装的tar包)
- 二、Zookeeper安装【Centos7】
- 2.1.环境要求
-
- 2.1.1.安装JDK
- [2.1.2.上传apache-zookeeper-3.5.7-bin.tar.gz 安装包到/opt/module目录下](#2.1.2.上传apache-zookeeper-3.5.7-bin.tar.gz 安装包到/opt/module目录下)
- 2.1.3.解压到指定目录
- 2.1.4.修改文件夹名称
- 2.2.配置修改
-
- [2.2.1.将zookeeper-3.5.7/conf 路径下的 zoo_sample.cfg 修改为 zoo.cfg](#2.2.1.将zookeeper-3.5.7/conf 路径下的 zoo_sample.cfg 修改为 zoo.cfg)
- 2.2.2.修改zookeeper数据文件存放目录
- 2.2.3.创建相关数据文件存放目录
- 2.3.操作Zookeeper
- 2.4.配置参数解读
-
- [2.4.1.tickTime = 2000:通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒](#2.4.1.tickTime = 2000:通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒)
- [2.4.2.initLimit = 10:LF初始通信时限](#2.4.2.initLimit = 10:LF初始通信时限)
- [2.4.3.syncLimit = 5:LF同步通信时限](#2.4.3.syncLimit = 5:LF同步通信时限)
- 2.4.4.dataDir:保存Zookeeper中的数据
- [2.4.5.clientPort = 2181:客户端连接端口,通常不做修改](#2.4.5.clientPort = 2181:客户端连接端口,通常不做修改)
- [三、Zookeeper 集群操作](#三、Zookeeper 集群操作)
-
- 3.1.集群操作
-
- 3.1.1.集群安装
-
- 3.1.1.1.集群规划
- 3.1.1.2.解压安装
- 3.1.1.3.配置服务器编号
-
- [3.1.1.3.1.创建相关数据文件存放目录 zkData](#3.1.1.3.1.创建相关数据文件存放目录 zkData)
- [3.1.1.3.2.创建一个 myid 的文件【!!!】](#3.1.1.3.2.创建一个 myid 的文件【!!!】)
- [3.1.1.3.3.拷贝配置好的 zookeeper 到其他机器上](#3.1.1.3.3.拷贝配置好的 zookeeper 到其他机器上)
- 3.1.1.4.配置zoo.cfg文件
-
- [3.1.1.4.1.拷贝配置文件zoo_sample.cfg 为zoo.cfg](#3.1.1.4.1.拷贝配置文件zoo_sample.cfg 为zoo.cfg)
- 3.1.1.4.2.修改zookeeper配置文件zoo.cfg【!!!】
- 3.1.1.4.3.配置参数解读【!!!】
- [3.1.1.4.4.同步zoo.cfg 配置文件](#3.1.1.4.4.同步zoo.cfg 配置文件)
- 3.1.1.4.5.修改zkEnv.sh文件并同步,配置java环境变量
- 3.1.1.5.集群操作
- 3.1.2.选举机制(面试重点)
- [3.1.3.ZK 集群启动停止脚本](#3.1.3.ZK 集群启动停止脚本)
-
- [3.1.3.1.在host128 创建脚本](#3.1.3.1.在host128 创建脚本)
- 3.1.3.2.脚本内容
- 3.1.3.3.增加脚本执行权限
- [3.1.3.4.Zookeeper 集群启动](#3.1.3.4.Zookeeper 集群启动)
- [3.1.3.5.Zookeeper 集群状态](#3.1.3.5.Zookeeper 集群状态)
- [3.1.3.6.Zookeeper 集群停止](#3.1.3.6.Zookeeper 集群停止)
- [3.1.4.显示集群的所有java进程状态jpsall 脚本](#3.1.4.显示集群的所有java进程状态jpsall 脚本)
-
- [3.1.4.1.在host128 创建脚本](#3.1.4.1.在host128 创建脚本)
- 3.1.4.2.脚本内容
- 3.1.4.3.增加脚本执行权限
- 3.1.4.4.执行脚本
- [3.2. 客户端命令行操作](#3.2. 客户端命令行操作)
-
- 3.2.1.命令行基本语法
- [3.2.2.znode 节点数据信息](#3.2.2.znode 节点数据信息)
- 3.2.3.节点类型(持久/短暂/有序号/无序号)
-
- [3.2.3.1.分别创建2个普通节点(永久节点 + 不带序号)](#3.2.3.1.分别创建2个普通节点(永久节点 + 不带序号))
- 3.2.3.2.获得节点的值
- [3.2.3.3.创建带序号的节点(永久节点 + 带序号)](#3.2.3.3.创建带序号的节点(永久节点 + 带序号))
- [3.2.3.4.创建短暂节点(短暂节点 + 不带序号 or 带序号)](#3.2.3.4.创建短暂节点(短暂节点 + 不带序号 or 带序号))
- 3.2.3.5.修改节点数据值
- 3.2.4.监听器原理
- 3.2.5.节点删除与查看
- endl
一、Zookeeper 入门
1.1.概述
Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的Apache 项目。
1.2.Zookeeper工作机制
Zookeeper从设计模式角度来理解:是一个基于观察者模式
设计的分布式服务管理框架,它负责存储和管理大家都关心的数据
,然后接受观察者的注册
,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者
做出相应的反应。
1.3.Zookeeper特点
1) Zookeeper
:一个领导者(Leader),多个跟随者(Follower)组成的集群。
2) 集群中只要有半数以上
节点存活,Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器
。
3) 全局数据一致
:每个Server保存一份相同的数据副本,Client无论连接到哪个Server,数据都是一致的。
4) 更新请求顺序执行,来自同一个Client的更新请求按其发送顺序依次执行。
5) 数据更新原子性
,一次数据更新要么成功,要么失败。
6) 实时性
,在一定时间范围内,Client能读到最新数据。
1.4.数据结构
ZooKeeper 数据模型的结构与 Unix 文件系统很类似
,整体上可以看作是一棵树,每个节点称做一个 ZNode。
每一个 ZNode 默认能够存储 1MB
的数据,每个 ZNode 都可以通过其路径唯一标识。
1.5.应用场景
提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等
。
1.5.1.统一命名服务
在分布式环境下,经常需要对应用/服务进行统一命名,便于识别。
例如:IP不容易记住,而域名容易记住。
1.5.2.统一配置管理
- 分布式环境下,配置文件同步非常常见。
- 一般要求一个集群中,所有节点的配置信息是一致的,比如 Kafka 集群。
- 对配置文件修改后,希望能够快速同步到各个节点上。
- 配置管理可交由ZooKeeper实现。
- 可将配置信息写入ZooKeeper上的一个Znode。
- 各个客户端服务器监听这个Znode。
- 一旦Znode中的数据被修改,ZooKeeper将通知各个客户端服务器。
1.5.3.统一集群管理
- 分布式环境中,实时掌握每个节点的状态是必要的。
- 可根据节点实时状态做出一些调整。
- ZooKeeper可以实现实时监控节点状态变化
- 可将节点信息写入ZooKeeper上的一个ZNode。
- 监听这个ZNode可获取它的实时状态变化。
1.5.4.服务器动态上下线
- 客户端能实时洞察到服务器上下线的变化
1.5.5.软负载均衡
- 在Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求
1.6.Zookeeper官网
Zookeeper官网:https://zookeeper.apache.org/
Zookeeper所有版本:https://archive.apache.org/dist/zookeeper/
zookeeper-3.5.7:https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/
1.6.1.Zookeeper下载
1.6.2.历史版本
1.6.3.下载Linux 环境安装的tar包
二、Zookeeper安装【Centos7】
2.1.环境要求
2.1.1.安装JDK
2.1.2.上传apache-zookeeper-3.5.7-bin.tar.gz 安装包到/opt/module目录下
java
mkdir -p /opt/module
cd /opt/module
2.1.3.解压到指定目录
java
tar -xzvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module
2.1.4.修改文件夹名称
java
cd /opt/module
mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7
2.2.配置修改
2.2.1.将zookeeper-3.5.7/conf 路径下的 zoo_sample.cfg 修改为 zoo.cfg
java
cd /opt/module/zookeeper-3.5.7/conf
cp zoo_sample.cfg zoo.cfg
2.2.2.修改zookeeper数据文件存放目录
java
vi /opt/module/zookeeper-3.5.7/conf/zoo.cfg
# 修改数据存储路径配置
dataDir=/opt/module/zookeeper-3.5.7/zkData
2.2.3.创建相关数据文件存放目录
java
mkdir -p /opt/module/zookeeper-3.5.7/zkData/{logs,data}
2.3.操作Zookeeper
2.3.1.添加到环境变量
java
vim /etc/profile
# zookeeper
export ZK_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZK_HOME/bin
# 输入下面命令让设置的环境变量生效
source /etc/profile
2.3.2.启动Zookeeper
java
zkServer.sh start
zkServer.sh status
zkServer.sh stop
zkServer.sh restart
#以打印日志方式启动
zkServer.sh start-foreground
2.3.3.查看进程是否启动
java
# jps 是 Java Process Status Tool 的简称,它的作用是为了列出所有正在运行中的 Java 虚拟机进程
# 每一个 Java 程序在启动的时候都会为之创建一个Jvm 实例,通过jps可以查看这些进程的相关信息
# jps是Jdk提供的一个工具,它安装在 JAVA_HOME/bin下
jps
jps -l
2.3.4.ZooKeeper服务端口为2181,查看服务已经启动
java
ps -aux | grep zookeeper
netstat -ant | grep 2181
2.3.5.查看状态
java
zkServer.sh status
2.3.6.启动客户端
java
zkCli.sh
2.3.7.退出客户端
java
quit
2.3.8.停止Zookeeper
java
zkServer.sh stop
2.3.9.查看数据文件存放目录zkData
2.4.配置参数解读
2.4.1.tickTime = 2000:通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒
2.4.2.initLimit = 10:LF初始通信时限
Leader和Follower初始连接
时能容忍的最多心跳数(tickTime的数量)
2.4.3.syncLimit = 5:LF同步通信时限
Leader和Follower之间通信时间如果超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。
2.4.4.dataDir:保存Zookeeper中的数据
注意:默认的tmp目录,容易被Linux系统定期删除,所以一般不用默认的tmp目录。
2.4.5.clientPort = 2181:客户端连接端口,通常不做修改
三、Zookeeper 集群操作
3.1.集群操作
在ZooKeeper集群服中务中有三个角色:
Leader 领导者
:
- 处理事务请求
- 集群内部各服务器的调度者
Follower 跟随者
:
- 处理客户端非事务请求,转发事务请求给Leader服务器
- 参与Leader选举投票
Observer 观察者
:
- 处理客户端非事务请求,转发事务请求给Leader服务器
3.1.1.集群安装
3.1.1.1.集群规划
在host128、host129 和host130 三个节点上都部署Zookeeper
思考:如果是 10 台服务器,需要部署多少台 Zookeeper?
3.1.1.2.解压安装
java
# 解压Zookeeper 安装包到/opt/module/目录下
tar -xzvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module
cd /opt/module
# 修改apache-zookeeper-3.5.7-bin 名称为zookeeper-3.5.7
mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7
3.1.1.3.配置服务器编号
3.1.1.3.1.创建相关数据文件存放目录 zkData
java
mkdir -p /opt/module/zookeeper-3.5.7/zkData/{logs,data}
3.1.1.3.2.创建一个 myid 的文件【!!!】
java
# 在文件中添加与server 对应的编号(注意:上下不要有空行,左右不要有空格)
echo 1 >/opt/module/zookeeper-3.5.7/zkData/myid
cat /opt/module/zookeeper-3.5.7/zkData/myid
3.1.1.3.3.拷贝配置好的 zookeeper 到其他机器上
xsync 集群同步工具
,需要编辑集群分发脚本
java
xsync.sh zookeeper-3.5.7
并分别在host129、host130 上修改myid 文件中内容为 2、3
3.1.1.4.配置zoo.cfg文件
3.1.1.4.1.拷贝配置文件zoo_sample.cfg 为zoo.cfg
java
cd /opt/module/zookeeper-3.5.7/conf
# 拷贝配置文件 zoo_sample.cfg 为zoo.cfg
cp zoo_sample.cfg zoo.cfg
3.1.1.4.2.修改zookeeper配置文件zoo.cfg【!!!】
java
vi /opt/module/zookeeper-3.5.7/conf/zoo.cfg
# 修改数据存储路径配置
dataDir=/opt/module/zookeeper-3.5.7/zkData
# 增加如下配置
#######################cluster##########################
server.1=192.168.147.128:2888:3888
server.2=192.168.147.129:2888:3888
server.3=192.168.147.130:2888:3888
3.1.1.4.3.配置参数解读【!!!】
java
# tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔为2ms,也就是说每隔tickTime时间就会发送一个心跳。
tickTime=2000
# initLimit这个配置项是用来配置zookeeper接受客户端
# (这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器)
# 初始化连接时最长能忍受多少个心跳时间间隔数。当初始化连接时间超过该值,则表示连接失败。
# 当已经超过10个心跳的时间(也就是tickTime)长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。
# 对于从节点最初连接到主节点时的超时时间,单位为tick值的倍数。总的时间长度就是 10*2000。即20ms
initLimit=10
# syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度
# 如果follower在设置时间内不能与leader通信,那么此follower将会被丢弃。
# 对于主节点与从节点进行同步操作时的超时时间,单位为tick值的倍数。总的时间长度就是5*2000。即10ms
syncLimit=5
# dataDir就是zookeeper保存数据库数据快照的位置,默认情况下zookeeper将写数据的日志文件也保存在这个目录里
# 注意:不能使用 /tmp 路径,会被定期清除。使用专用的存储设备能够大大提高系统的性能
# dataDir=/tmp/zookeeper
dataLogDir=/opt/module/zookeeper-3.5.7/zkData/logs
# 数据文件存放目录
dataDir=/opt/module/zookeeper-3.5.7/zkData
# clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求
clientPort=2181
# 客户端最大链接数
maxClientCnxns=60
# zookeeper在运行过程中会生成快照数据,默认不会自动清理,会持续占用硬盘空间
# 保存3个快照,即3个日志文件
autopurge.snapRetainCount=3
# 间隔1个小时执行一次清理
autopurge.purgeInterval=1
# server.A=B:C:D
# 其中A是一个数字,表示这个是第几号服务器
# 集群模式下配置一个文件myid,这个文件在dataDir 目录下,这个文件里面有一个数据就是 A 的值
# Zookeeper 启动时读取此文件,拿到里面的数据与zoo.cfg 里面的配置信息比较从而判断到底是哪个server。
# echo 1 >/opt/module/zookeeper-3.5.7/zkData/myid
# B是这个服务器的IP地址
# C第一个端口用来集群成员的信息交换,表示这个服务器Follower与集群中的Leader服务器交换信息的端口
# D标识假如集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口
# 服务器=运行主机:心跳端口:选举端口
# zk集群
# 3888后面位置不能有空格,否则Address unresolved: 192.168.147.128:3888
#######################cluster##########################
server.1=192.168.147.128:2888:3888
server.2=192.168.147.129:2888:3888
server.3=192.168.147.130:2888:3888
3.1.1.4.4.同步zoo.cfg 配置文件
java
cd /opt/module/zookeeper-3.5.7/conf
xsync.sh zoo.cfg
3.1.1.4.5.修改zkEnv.sh文件并同步,配置java环境变量
不修改容易报错:JAVA_HOME is not set and java could not be found in PATH.
java
vi /opt/module/zookeeper-3.5.7/bin/zkEnv.sh
#添加
JAVA_HOME="/usr/java/jdk1.8"
xsync.sh zkEnv.sh
3.1.1.5.集群操作
3.1.1.5.1.分别启动Zookeeper
java
zkServer.sh start
zkServer.sh status
zkServer.sh stop
zkServer.sh restart
#以打印日志方式启动
zkServer.sh start-foreground
3.1.1.5.2.查看状态
3.1.2.选举机制(面试重点)
3.1.2.1.Zookeeper选举机制------第一次启动
(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成
,服务器1状态保持为LOOKING
;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。
此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成
,服务器1,2状态保持LOOKING
;
(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader
。服务器1,2更改状态为FOLLOWING
,服务器3更改状态为LEADING
;
(4)服务器4启动
,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING
;
(5)服务器5启动,同4一样当小弟。
名词 | 简介 | 含义 |
---|---|---|
SID | 服务器ID |
用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致 |
ZXID | 事务ID | ZXID是一个事务ID,用来标识一次服务器状态的变更。 在某一时刻,集群中的每台机器的ZXID值不一定完全一致,这和ZooKeeper服务器对于客户端"更新请求"的处理逻辑有关。 |
Epoch | 每个Leader任期的代号 |
没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加 |
3.1.2.2.Zookeeper选举机制------非第一次启动
(1)当zookeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:
- 服务器初始化启动
- 服务器运行期间无法和leader保持连接
(2)而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:
-
集群中本来就已经存在一个Leader
对于这种已经存在Leader的情况,机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和Leader机器建立连接,并进行状态同步即可。
-
集群中确实不存在Leader
(重点)假设ZooKeeper由5台服务器组成,SID分别为
1
、2
、3、4
、5,ZXID分别为8
、8
、8、7
、7,并且此时SID为3的服务器是Leader。某一时刻,3和5服务器出现故障,因此开始进行Leader选举。最后选了服务器2。
3.1.3.ZK 集群启动停止脚本
3.1.3.1.在host128 创建脚本
java
vim /usr/bin/zk.sh
3.1.3.2.脚本内容
java
#!/bin/bash
# 定义一个数组
arr=(host128 host129 host130)
case $1 in
"start"){
for i in ${arr[@]}
do
echo ---------- zookeeper $i 启动 ------------
ssh $i "bash /opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
done
};;
"stop"){
for i in ${arr[@]}
do
echo ---------- zookeeper $i 停止 ------------
ssh $i "bash /opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
done
};;
"status"){
for i in ${arr[@]}
do
echo ---------- zookeeper $i 状态 ------------
ssh $i "bash /opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
done
};;
esac
3.1.3.3.增加脚本执行权限
java
# u代表所有者user;x代表执行权限;+ 表示增加权限
chmod u+x /usr/bin/zk.sh
3.1.3.4.Zookeeper 集群启动
java
zk.sh start
3.1.3.5.Zookeeper 集群状态
java
zk.sh status
3.1.3.6.Zookeeper 集群停止
java
zk.sh stop
3.1.4.显示集群的所有java进程状态jpsall 脚本
3.1.4.1.在host128 创建脚本
java
vim /usr/bin/jpsall
3.1.4.2.脚本内容
java
#!/bin/bash
# 该脚本是用来显示集群的所有java进程状态
# 定义一个数组
list="host128 host129 host130"
JAVA_HOME="/usr/java/jdk1.8"
echo "显示集群的所有java进程状态"
for node in $list
do
echo =============== $node ===============
ssh $node $JAVA_HOME'/bin/jps'
done
echo "执行结束"
3.1.4.3.增加脚本执行权限
java
# u代表所有者user;x代表执行权限;+ 表示增加权限
chmod u+x /usr/bin/jpsall
3.1.4.4.执行脚本
java
jpsall
3.2. 客户端命令行操作
3.2.1.命令行基本语法
命令基本语法 | 功能描述 |
---|---|
help | 显示所有操作的命令 |
ls path | 使用 ls 命令来查看当前 znode 的子节点 [可监听] -w 监听子节点变化 -s 附加次级信息 |
create | 普通创建 -s 含有序列 -e 临时(重启或者超时消失) |
get path | 获得节点的值 [可监听] -w 监听节点内容变化 -s 附加次级信息 |
set | 设置节点的具体值 |
stat | 查看节点状态 |
delete | 删除节点 |
deleteall | 递归删除节点 |
3.2.1.1.启动客户端
java
cd /opt/module/zookeeper-3.5.7
# 指定启动host128的客户端,而不是localhost的
bin/zkCli.sh -server host128:2181
3.2.1.2.显示所有的操作命令
java
help
3.2.2.znode 节点数据信息
3.2.2.1.查看当前znode中所包含的内容
java
ls /
java
[zk: host128:2181(CONNECTED) 0] ls /
[zookeeper]
3.2.2.2.查看当前节点详细数据
java
ls -s /
java
[zk: host128:2181(CONNECTED) 1] ls -s /
[zookeeper]cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1
创建节点的事务 zxid
:每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。
事务 ID 是 ZooKeeper 中所有修改总的次序。
每次修改都有唯一的 zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之前发生。
czxid |
创建节点的事务 zxid(create zxid) |
---|---|
ctime | znode 被创建的毫秒数(从 1970 年开始) |
mzxid | znode 最后更新的事务 zxid |
mtime | znode 最后修改的毫秒数(从 1970 年开始) |
pZxid | znode 最后更新的子节点 zxid |
cversion | znode 子节点变化号,znode 子节点修改次数 |
dataversion |
znode 数据变化号 |
aclVersion | znode 访问控制列表的变化号 |
ephemeralOwner | 如果是临时节点,这个是 znode 拥有者的 session id。如果不是临时节点则是 0。 |
dataLength |
znode 的数据长度 |
numChildren |
znode 子节点数量 |
3.2.3.节点类型(持久/短暂/有序号/无序号)
- 持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除
- 短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除
说明:创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护
注意:在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序
3.2.3.1.分别创建2个普通节点(永久节点 + 不带序号)
java
create /sanguo "xishi"
create /sanguo/shuguo "adou"
java
[zk: host128:2181(CONNECTED) 2] create /sanguo "xishi"
Created /sanguo
[zk: host128:2181(CONNECTED) 3] create /sanguo/shuguo "adou"
Created /sanguo/shuguo
## 注意:创建节点时,要赋值
3.2.3.2.获得节点的值
java
get -s /sanguo
get -s /sanguo/shuguo
java
[zk: host128:2181(CONNECTED) 4] get -s /sanguo
xishi
cZxid = 0x400000004
ctime = Tue Feb 27 21:42:39 CST 2024
mZxid = 0x400000004
mtime = Tue Feb 27 21:42:39 CST 2024
pZxid = 0x400000005
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 1
[zk: host128:2181(CONNECTED) 5] get -s /sanguo/shuguo
adou
cZxid = 0x400000005
ctime = Tue Feb 27 21:43:01 CST 2024
mZxid = 0x400000005
mtime = Tue Feb 27 21:43:01 CST 2024
pZxid = 0x400000005
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0
3.2.3.3.创建带序号的节点(永久节点 + 带序号)
3.2.3.3.1.先创建一个普通的根节点/sanguo/weiguo
java
[zk: host128:2181(CONNECTED) 6] create /sanguo/weiguo "caocao"
Created /sanguo/weiguo
3.2.3.3.2.创建带序号的节点
java
如果原来没有序号节点,序号从0 开始依次递增。
如果原节点下已有2个节点,则再排序时从2开始,以此类推。
java
[zk: host128:2181(CONNECTED) 7] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/zhangliao0000000000
[zk: host128:2181(CONNECTED) 8] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/zhangliao0000000001
[zk: host128:2181(CONNECTED) 9] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/zhangliao0000000002
[zk: host128:2181(CONNECTED) 10] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/zhangliao0000000003
3.2.3.4.创建短暂节点(短暂节点 + 不带序号 or 带序号)
3.2.3.4.1.创建短暂的不带序号的节点
java
[zk: host128:2181(CONNECTED) 0] create -e /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo
3.2.3.4.2.创建短暂的带序号的节点
java
[zk: host128:2181(CONNECTED) 1] create -e -s /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo0000000003
3.2.3.4.3.在当前客户端是能查看到的
java
[zk: host128:2181(CONNECTED) 2] ls /sanguo
[shuguo, weiguo, wuguo, wuguo0000000003]
3.2.3.4.4.退出当前客户端然后再重启客户端
java
quit
bin/zkCli.sh -server host128:2181
3.2.3.4.5.再次查看根目录下短暂节点已经删除
java
[zk: host128:2181(CONNECTED) 0] ls /sanguo
[shuguo, weiguo]
3.2.3.5.修改节点数据值
java
[zk: host128:2181(CONNECTED) 1] set /sanguo/weiguo "kongming"
[zk: host128:2181(CONNECTED) 2] get -s /sanguo/weiguo
kongming
cZxid = 0x400000006
ctime = Tue Feb 27 21:46:26 CST 2024
mZxid = 0x400000011
mtime = Tue Feb 27 21:53:24 CST 2024
pZxid = 0x40000000a
cversion = 4
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 4
3.2.4.监听器原理
客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、节点删除、子目录节点增加删除)时,ZooKeeper 会通知客户端。
监听机制保证ZooKeeper 保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。
3.2.4.1.监听原理详解
1) 首先要有一个main()线程
2) 在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络连接通信(connet)
,一个负责监听(listener)
。
java
线程connet负责网络通信连接,连接服务器;
线程Listener负责监听;
3) 通过connect线程将注册的监听事件发送给Zookeeper。
java
getChildren("/" , true) ," / "表示监听的是根目录,true表示监听,不监听用false
4) 在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中,表示这个服务器中的/path,即根目录这个路径被客户端监听了;
5) Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。
6) listener线程内部调用了process()方法,采取相应的措施,例如更新服务器列表等。
3.2.4.2.常见的监听
1) 监听节点数据的变化get path [watch]
2) 监听子节点增减的变化ls path [watch]
3.2.4.3.节点的值变化监听
java
cd /opt/module/zookeeper-3.5.7
# 指定启动host129的客户端,而不是localhost的
bin/zkCli.sh -server host129:2181
(1)在host129 主机上注册监听/sanguo 节点数据变化
java
[zk: host129:2181(CONNECTED) 1] get -w /sanguo
xishi
(2)在host130 主机上修改/sanguo 节点的数据
java
[zk: host130:2181(CONNECTED) 2] set /sanguo "yangyuhuan"
(3)观察host129 主机收到数据变化的监听
java
[zk: host129:2181(CONNECTED) 2]
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo
注意:在host130 再多次修改/sanguo的值,host129上不会再收到监听。
因为注册一次
,只能监听一次
。想再次监听,需要再次注册
。
3.2.4.4.节点的子节点变化监听(路径变化)
(1)在host129 主机上注册监听/sanguo 节点的子节点变化
java
[zk: host129:2181(CONNECTED) 2] ls -w /sanguo
[shuguo, weiguo]
(2)在host130 主机/sanguo 节点上创建子节点
java
[zk: host130:2181(CONNECTED) 3] create /sanguo/jin "simayi"
Created /sanguo/jin
(3)观察host129 主机收到子节点变化的监听
java
[zk: host129:2181(CONNECTED) 3]
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo
注意:节点的路径变化,也是注册一次
,生效一次
。想多次生效,就需要多次注册
。
3.2.5.节点删除与查看
3.2.5.1.查看节点状态
java
[zk: host129:2181(CONNECTED) 3] stat /sanguo
cZxid = 0x400000004
ctime = Tue Feb 27 21:42:39 CST 2024
mZxid = 0x500000005
mtime = Wed Feb 28 10:50:35 CST 2024
pZxid = 0x500000006
cversion = 7
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 10
numChildren = 3
3.2.5.2.删除节点
java
[zk: host129:2181(CONNECTED) 4] ls /sanguo
[jin, shuguo, weiguo]
[zk: host129:2181(CONNECTED) 5] delete /sanguo/jin
3.2.5.3.递归删除节点
java
[zk: host129:2181(CONNECTED) 6] delete /sanguo
Node not empty: /sanguo
[zk: host129:2181(CONNECTED) 7] deleteall /sanguo
[zk: host129:2181(CONNECTED) 8]
[zk: host129:2181(CONNECTED) 8] ls /
[zookeeper]