zookeeper基础概念及部署

一. 引言：

zookeeper 是一个分布式协调服务，主要用于解决分布式系统中常见的一致性、配置管理、命名服务、分布式锁等问题。它基于 Zab协议实现，具有高可用、高性能、强一致性等特性，被广泛应用于 hadoop、kafka等分布式系统中。

二. 基础概念：

1. 数据模型： zookeeper 的数据模型是一个分层的树形结构，类似 Linux 文件系统：

• 节点：树中的每个节点称为 ZNode，既可以存储数据（默认最大 1MB），也可以包含子节点。
• 路径：每个 znode 由唯一路径标识，如 /app1/config。
• 节点类型：
  • 持久节点：创建后永久存在，除非手动删除。
  • 临时节点：与客户端会话绑定，会话结束后自动删除，不能有子节点。
  • 持久顺序节点：持久化且自动添加递增序号（如 /task/1、/task/2），用于分布式队列。
  • 临时顺序节点：临时节点且自动添加序号，用于分布式锁、 leader 选举等场景。

2. 版本机制：乐观锁控制，每个 znode 有3个版本号，用于实现乐观锁：

• 数据版本（修改数据时递增）。
• 子节点版本（新增 / 删除子节点时递增）。
• ACL（权限控制）版本。
  修改 znode 时需指定版本号，若版本不匹配则操作失败，避免并发冲突。

3. watcher 机制：事件通知

客户端可对 znode 注册 watcher（监听器），当节点数据或子节点变化时，zooKeeper 会向客户端发送事件通知（一次性触发，需重新注册），用于实现配置动态更新、服务上下线感知等功能。常见事件包括：节点数据变化、子节点变化、节点被删除。

4. ACL 权限控制：zookeeper 通过 ACL控制节点访问权限，权限粒度包括：

• 创建子节点。
• 读取节点数据或子节点列表。
• 修改节点数据。
• 删除子节点。
• 管理 ACL 权限。
  权限作用对象分为：world、auth、digest、ip。

5. 集群角色：zookeeper 集群通常由 3、5、7 等奇数个节点组成（确保选举时能形成多数派），角色包括：

• leader：负责处理客户端写请求，协调集群一致性，通过 Zab 协议同步数据到其他节点。
• follower：处理客户端读请求，参与 Leader 选举，转发写请求给 Leader。
• observer：仅处理读请求，不参与选举和写操作投票，用于扩展读性能（可选角色）。

三. 集群部署：

1. 部署很简单，服务解压即用

   #wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
   #tar fxvz apache-zookeeper-3.8.4-bin.tar.gz
   #mv apache-zookeeper-3.8.4-bin zookeeper

2. 编辑配置文件：

   tickTime=2000
   initLimit=10
   syncLimit=5
   dataDir=/opt/zookeeper/zk-data
   dataLogDir=/opt/zookeeper/zk-data/logs
   clientPort=2181
   maxClientCnxns=1000
   autopurge.snapRetainCount=10
   autopurge.purgeInterval=12

   minSessionTimeout=5000
   maxSessionTimeout=60000
   skipACL=yes #跳过acl认证
   reconfigEnabled=true #开启动态配置变更功能(集群扩缩容通过recofnig方式而无需重启旧节点)
   standaloneEnabled=false # 集群模式
   dynamicConfigFile=/opt/zookeeper/conf/dyn.cfg #动态节点配置文件

/opt/zookeeper/conf/dyn.cfg 文件内容：

server.1=l-kafka-zk1.xxx.com:2888:3888
server.1=l-kafka-zk2.xxx.com:2888:3888
server.1=l-kafka-zk3.xxx.com:2888:3888

3.启动服务：

mkdir -p /opt/zookeeper/zk-data/logs
echo 1 > zk-data/myid    #每个node节点不一致
bin/zkServer.sh start

其他节点参考以上配置即可。

---

深耕运维行业多年，擅长运维体系建设，方案落地。欢迎交流！

"V-x"： ywjw996

《 运维经纬 》