【Zookeeper】ZooKeeper集群搭建与选举原理终极指南(Docker版 + 三角色详解)

ZooKeeper集群搭建与选举原理终极指南(Docker版 + 三角色详解)

一、环境准备(Docker版)

1. 服务器准备(3台节点)

bash 复制代码
# 所有节点执行
sudo apt-get update && sudo apt-get install -y docker.io docker-compose
sudo systemctl enable docker && sudo systemctl start docker

2. 创建专用网络(所有节点)

bash 复制代码
docker network create --driver bridge --subnet 172.20.0.0/16 zk_net

二、Docker方式部署ZooKeeper集群

1. 节点1配置(Leader候选)

bash 复制代码
# 创建数据目录
mkdir -p /data/zookeeper/node1/{data,datalog}

# 创建docker-compose.yml
cat > /data/zookeeper/node1/docker-compose.yml <<EOF
version: '3.8'
services:
  zookeeper:
    image: zookeeper:3.8.1
    restart: always
    hostname: zk-node1
    container_name: zk-node1
    ports:
      - "2181:2181"
      - "2888:2888"
      - "3888:3888"
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zk-node1:2888:3888;2181 server.2=zk-node2:2888:3888;2181 server.3=zk-node3:2888:3888;2181
      ZOO_STANDALONE_ENABLED: "false"
    volumes:
      - /data/zookeeper/node1/data:/data
      - /data/zookeeper/node1/datalog:/datalog
    networks:
      zk_net:
        ipv4_address: 172.20.0.101
networks:
  zk_net:
    external: true
EOF

2. 节点2配置(Follower)

bash 复制代码
mkdir -p /data/zookeeper/node2/{data,datalog}

cat > /data/zookeeper/node2/docker-compose.yml <<EOF
version: '3.8'
services:
  zookeeper:
    image: zookeeper:3.8.1
    restart: always
    hostname: zk-node2
    container_name: zk-node2
    ports:
      - "2182:2181"
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zk-node1:2888:3888;2181 server.2=zk-node2:2888:3888;2181 server.3=zk-node3:2888:3888;2181
    volumes:
      - /data/zookeeper/node2/data:/data
      - /data/zookeeper/node2/datalog:/datalog
    networks:
      zk_net:
        ipv4_address: 172.20.0.102
networks:
  zk_net:
    external: true
EOF

3. 节点3配置(Observer)

bash 复制代码
mkdir -p /data/zookeeper/node3/{data,datalog}

cat > /data/zookeeper/node3/docker-compose.yml <<EOF
version: '3.8'
services:
  zookeeper:
    image: zookeeper:3.8.1
    restart: always
    hostname: zk-node3
    container_name: zk-node3
    ports:
      - "2183:2181"
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zk-node1:2888:3888;2181 server.2=zk-node2:2888:3888;2181 server.3=zk-node3:2888:3888;2181:observer
      ZOO_OBSERVER_ENABLED: "true"
    volumes:
      - /data/zookeeper/node3/data:/data
      - /data/zookeeper/node3/datalog:/datalog
    networks:
      zk_net:
        ipv4_address: 172.20.0.103
networks:
  zk_net:
    external: true
EOF

三、启动集群

bash 复制代码
# 每个节点执行(注意在对应目录执行)
docker-compose up -d

# 查看节点状态
docker exec -it zk-node1 zkServer.sh status
docker exec -it zk-node2 zkServer.sh status 
docker exec -it zk-node3 zkServer.sh status

四、三大核心角色详解

1. Leader(领导者)

核心职责

  • 唯一接受写请求的节点
  • 负责将写操作转化为事务(ZXID)
  • 管理数据同步流程(2PC提交)
  • 维护与Follower的心跳

关键特性
flowchart LR Client-->|写请求|Leader Leader-->|Proposal|Follower1 Leader-->|Proposal|Follower2 Follower-->|ACK|Leader Leader-->|Commit|All

2. Follower(跟随者)

核心职责

  • 接受客户端读请求(负载分流)
  • 参与Leader选举投票
  • 从Leader同步数据变更
  • 转发写请求给Leader

状态转换
stateDiagram [*] --> LOOKING LOOKING --> FOLLOWING: 确认Leader FOLLOWING --> LOOKING: Leader失联

3. Observer(观察者)

特殊优势

  • 不参与投票(提高集群扩展性)
  • 接受客户端读请求
  • 异步同步Leader数据
  • 跨数据中心部署的理想选择

性能对比

角色 写吞吐量 读吞吐量 网络开销
Leader
Follower
Observer 最高

五、选举原理深度解析

1. 选举触发条件

  • 集群初始化启动
  • Leader失去心跳(默认2*tickTime)
  • 超过半数节点连接丢失
  • 管理员手动触发(zkServer.sh restart

2. 选举过程详解

阶段一:选票广播

python 复制代码
# 伪代码示例
class Vote:
    def __init__(self, sid, zxid, epoch):
        self.sid = sid    # 服务器ID
        self.zxid = zxid  # 最新事务ID
        self.epoch = epoch # 选举周期

def compare_votes(v1, v2):
    if v1.epoch != v2.epoch:
        return v1.epoch > v2.epoch
    elif v1.zxid != v2.zxid:
        return v1.zxid > v2.zxid
    else:
        return v1.sid > v2.sid

阶段二:状态转换
sequenceDiagram participant Node1 participant Node2 participant Node3 Note over Node1: 初始状态: LOOKING Node1->>Node2: 投票(1, zxid=100) Node2->>Node1: 投票(2, zxid=120) Node1->>Node3: 投票(2, zxid=120) Node3->>Node1: 投票(3, zxid=120) Note over Node1: 发现Node2获得多数票 Node1->>Node2: LEADERINFO Node2-->>Node1: ACK Note over Node1: 切换为FOLLOWING

六、生产环境调优建议

1. 关键参数优化

yaml 复制代码
# 在docker环境变量中添加:
environment:
  ZOO_TICK_TIME: "2000"
  ZOO_INIT_LIMIT: "10"
  ZOO_SYNC_LIMIT: "5"
  ZOO_AUTOPURGE_SNAP_RETAIN_COUNT: "3"
  ZOO_AUTOPURGE_PURGE_INTERVAL: "24"

2. 监控方案

bash 复制代码
# 使用四字命令监控
watch -n 1 "echo mntr | nc localhost 2181"

# 推荐监控指标:
• zk_avg_latency          # 平均延迟
• zk_outstanding_requests # 排队请求数
• zk_znode_count          # 节点数量
• zk_watch_count          # watch数量

3. 故障模拟测试

bash 复制代码
# 模拟Leader宕机
docker pause zk-node1

# 观察日志(约2-5秒应完成选举)
docker logs --tail 100 -f zk-node2

# 恢复节点
docker unpause zk-node1

通过这种Docker化部署方式,您可以在10分钟内快速搭建一个生产可用的ZooKeeper集群,三大角色各司其职:Leader处理写请求保证一致性,Follower参与选举并提供读服务,Observer则专门扩展读能力。这种架构设计完美体现了分布式系统CAP理论中的CP特性。

相关推荐
丶醉卧1 年前
Zookeeper系列(一)集群搭建(非容器)
zookeeper·zookeeper集群·zookeeper集群搭建