Zookeeper（93）如何在Zookeeper中实现分布式Barrier？

Victor3562025-03-08 11:52

在分布式系统中，Barrier（屏障）是一种常见的同步机制，用于协调多个进程或线程，使它们在某个点上等待，直到所有参与者都到达该点后再继续执行。ZooKeeper可以通过其节点操作和事件监听机制实现分布式Barrier。

实现原理

  1. Barrier节点：在ZooKeeper中创建一个专用节点来表示Barrier。
  2. 参与者节点：每个参与者在Barrier节点下创建一个临时节点，表示已经到达Barrier。
  3. 等待机制：每个参与者等待Barrier节点下的子节点数达到预期的数量，然后继续执行。

代码示例

以下是一个实现分布式Barrier的代码示例，展示了如何在ZooKeeper中实现一个简单而有效的分布式Barrier。

依赖导入

首先，确保你已经导入了ZooKeeper的Java客户端库：

xml 复制代码 
<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.7.0</version>
</dependency>

分布式Barrier实现

java 复制代码 
import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;

import java.io.IOException;
import java.util.List;
import java.util.concurrent.CountDownLatch;

public class DistributedBarrier {
    private ZooKeeper zooKeeper;
    private String barrierPath;
    private int size;
    private String nodePath;

    public DistributedBarrier(String connectString, String barrierPath, int size) throws IOException, KeeperException, InterruptedException {
        this.zooKeeper = new ZooKeeper(connectString, 3000, event -> {});
        this.barrierPath = barrierPath;
        this.size = size;
        ensureBarrierPath();
    }

    private void ensureBarrierPath() throws KeeperException, InterruptedException {
        Stat stat = zooKeeper.exists(barrierPath, false);
        if (stat == null) {
            zooKeeper.create(barrierPath, new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        }
    }

    public void enter() throws KeeperException, InterruptedException {
        nodePath = zooKeeper.create(barrierPath + "/node_", new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
        checkBarrier();
    }

    private void checkBarrier() throws KeeperException, InterruptedException {
        while (true) {
            List<String> children = zooKeeper.getChildren(barrierPath, event -> {
                if (event.getType() == Watcher.Event.EventType.NodeChildrenChanged) {
                    synchronized (this) {
                        notifyAll();
                    }
                }
            });

            if (children.size() >= size) {
                return; // All participants have entered the barrier
            }

            synchronized (this) {
                wait();
            }
        }
    }

    public void leave() throws KeeperException, InterruptedException {
        zooKeeper.delete(nodePath, -1);
    }

    public static void main(String[] args) throws Exception {
        int barrierSize = 3;
        CountDownLatch latch = new CountDownLatch(barrierSize);

        for (int i = 0; i < barrierSize; i++) {
            new Thread(() -> {
                try {
                    DistributedBarrier barrier = new DistributedBarrier("localhost:2181", "/barrier", barrierSize);
                    barrier.enter();
                    System.out.println(Thread.currentThread().getName() + " entered barrier");
                    latch.countDown();
                    latch.await(); // Simulate some work
                    barrier.leave();
                    System.out.println(Thread.currentThread().getName() + " left barrier");
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }).start();
        }
    }
}

详细说明

  1. 初始化ZooKeeper客户端：

    java 复制代码 
    public DistributedBarrier(String connectString, String barrierPath, int size) throws IOException, KeeperException, InterruptedException {
    this.zooKeeper = new ZooKeeper(connectString, 3000, event -> {});
    this.barrierPath = barrierPath;
    this.size = size;
    ensureBarrierPath();
}

    在初始化时，连接到ZooKeeper服务器，并确保Barrier节点存在。如果节点不存在，则创建一个持久节点表示Barrier。

  2. 确保Barrier节点存在：

    java 复制代码 
    private void ensureBarrierPath() throws KeeperException, InterruptedException {
    Stat stat = zooKeeper.exists(barrierPath, false);
    if (stat == null) {
        zooKeeper.create(barrierPath, new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }
}

    检查Barrier节点是否存在，如果不存在，则创建一个持久节点。

  3. 进入Barrier：

    java 复制代码 
    public void enter() throws KeeperException, InterruptedException {
    nodePath = zooKeeper.create(barrierPath + "/node_", new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
    checkBarrier();
}

    每个参与者在Barrier节点下创建一个临时顺序节点，表示自己已经到达Barrier。

  4. 检查Barrier：

    java 复制代码 
    private void checkBarrier() throws KeeperException, InterruptedException {
    while (true) {
        List<String> children = zooKeeper.getChildren(barrierPath, event -> {
            if (event.getType() == Watcher.Event.EventType.NodeChildrenChanged) {
                synchronized (this) {
                    notifyAll();
                }
            }
        });

        if (children.size() >= size) {
            return; // All participants have entered the barrier
        }

        synchronized (this) {
            wait();
        }
    }
}

    参与者获取Barrier节点下的子节点列表，并检查子节点的数量是否达到预期的Barrier大小。如果达到预期大小，则所有参与者都可以继续执行；否则，等待子节点变化事件。

  5. 离开Barrier：

    java 复制代码 
    public void leave() throws KeeperException, InterruptedException {
    zooKeeper.delete(nodePath, -1);
}

    参与者完成任务后，删除自己在Barrier节点下的临时节点，表示自己已经离开Barrier。

  6. 主函数：

    java 复制代码 
    public static void main(String[] args) throws Exception {
    int barrierSize = 3;
    CountDownLatch latch = new CountDownLatch(barrierSize);

    for (int i = 0; i < barrierSize; i++) {
        new Thread(() -> {
            try {
                DistributedBarrier barrier = new DistributedBarrier("localhost:2181", "/barrier", barrierSize);
                barrier.enter();
                System.out.println(Thread.currentThread().getName() + " entered barrier");
                latch.countDown();
                latch.await(); // Simulate some work
                barrier.leave();
                System.out.println(Thread.currentThread().getName() + " left barrier");
            } catch (Exception e) {
                e.printStackTrace();
            }
        }).start();
    }
}

    主函数创建多个线程，每个线程都作为一个参与者进入Barrier，并等待所有参与者到达Barrier后继续执行。

性能优化建议

  1. 异步操作：

    • 使用ZooKeeper的异步API，减少同步阻塞，提高并发性能。

  2. 批处理操作：

    • 可以通过一次性读取多个节点的状态来减少网络请求的次数，提高性能。

  3. 本地缓存：

    • 在客户端实现本地缓存，减少频繁的读请求，提升系统性能。

通过合理的设计和实现，ZooKeeper可以有效地解决分布式Barrier的需求，确保系统的高可用性和一致性。

相关推荐
高频因子挖掘机11 分钟前
A股量化从日线升级到5分钟线：数据量增加后最先暴露哪些工程问题？
后端·github·api
高频因子挖掘机37 分钟前
历史行情返回顺序变了，为什么按行号计算指标很危险？
后端·github·api
团子哒哒2 小时前
数组、切片和Map
后端
专注仿真2 小时前
ThinkPHP6 API接口开发实例：从零搭建RESTful风格接口
后端·php·restful
开心猴爷2 小时前
应对iOS审核4.3：可以使用 IpaGuard 来给属性名混淆的技术细节与平衡之道
后端·ios
1m555555552 小时前
RAG 工程实战（五）：正确知识已经进入 Prompt，为什么大模型还是会答错？
后端·面试
易小尊2 小时前
我的模型在 65% 以上时准得可怕，在 50% 时像在掷硬币
后端
用户2788607285672 小时前
fallback 会盖掉平台提示词：system、空数组和 systemAppend 的差别
前端·后端
iOS开发上架哦2 小时前
iOS应用耗电测试：使用Energy Log、Keymob和Instruments进行性能监控与能源消耗分析
后端·ios
掘金挖土3 小时前
前端手摸手跑路之 AI 应用开发（十一）
前端·后端
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02如何新建文件夹？ 电脑新建文件夹的4种方法03历年考研数学一、数学二、数学三真题试卷及答案PDF04GitHub 镜像站点05「全语录+省流版」邵艾伦 × 孙宇晨：聊风口、聊个人IP、聊年轻人如何抓住 AI 时代的机会06几个好用的ip纯净度检测网站07苹果iPA游戏软件资源下载网站08昇腾910B系列芯片完全指南：四款型号对比、服务器选型与大模型部署实战09Windows 10/11 如何退出微软账户并改用本地账户登录（含找不到选项的解决方法）10乙二醇水溶液物性参数