基于Zookeeper 简单实现分布式任务协调组件

优质博文:IT-BLOG-CN

一、什么是 Zookeeper

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。

它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

二 、 分布式任务协调组件的需求是什么

【1】现在有名称为ECAS的应用并集群运行在两台服务器上,分别为ECAS_1和CAS_2。而我们希望有一个任务TASK_1可以在两台ECAS应用中的任何一个应用来运行,可以是ECAS_1也可以是ECAS_2。

【2】假设TASK_1运行在ECAS_1上,而此时ECAS_1所在的服务器由于某些原因宕机了,ECAS_2需要接管任务TASK_1,使其可以继续运行。

需求分析:

a) 任务TASK_1既可以运行在ECAS_1上,也可以运行在ECAS_2上,任务吭启动时,由ECAS_1和CAS_2竞争运行权

b) 当ECAS集群中某台服务器宕机了,原来运行在这台服务器上的ECAS运行的应用应该由另外一台接管运行

三、基于Zookeeper实现需求

【1】可能需要使用到的Zookeeper的特性:监听节点发化,当有节点被增加、删除、修改时,通知关注节点发化的客户端

【2】实现需求一

a) 在Zookeeper上新增ROOT/Tasks节点,用于存放任务子节点(PS:ROOT节点是根节点,用于存放本次功能实现相关的子节点)

b) 所有客户端客户端关注节点ROOT/Tasks的子节点变化情况。

1、当有节点被新增进来时,触发竞争任务执行权操作

2、当有节点被移除时,触发任务停止操作

c) 如何竞争子任务,Zookeeper提供了基于Version的乐观锁操作,多个客户端尝试修改任务节点的属性时,叧有一个客户端可以修改成功,修改成功的客户端既竞争到了任务的执行权

【3】实现需求二

a)在Zookeeper上新增ROOT/Workers节点,用于存放当前存活的客户端实例(PS:ROOT节点是根节点,用于存放本次功能实现相关的子节点)

b) 所有客户端在Workers节点下添加代表自身的临时子节点,在Zookeeper中,临时子节点的特性是,当所属客户端断开了与Zookeeper的连接,子节点会被移除。

c) 所有客户端关注节点ROOT/Workers的子节点发化情况

  1. 当有新的节点添加进来时,表示集群中有新的客户端启动了

  2. 当有节点被移除时,表示有客户端离开了集群,此时遍历ROOT/Tasks下所有子节点,接管离开客户端所属的任务。

【4】下面是一个简单的 Zookeeper上的节点层次图

四、更强大的分布式调组件

4.1 可灵活定制任务负载策略

4.2 宕机应用返回集群后,任务的重新负载

相关推荐
青山师1 分钟前
Java注解深度解析:从元数据机制到框架开发基石
java·开发语言·注解·javase·java面试·后端开发·java核心
AI人工智能+电脑小能手7 分钟前
【大白话说Java面试题】【Java基础篇】第35题:怎样声明一个类不会被继承?什么场景下会用
java·开发语言·后端·面试
2301_782040459 分钟前
JavaScript中Map在频繁增删键值对场景下的稳定性
jvm·数据库·python
升鲜宝供应链及收银系统源代码服务13 分钟前
升鲜宝云仓供应链管理系统 数据库数据字典设计 (一)---升鲜宝生鲜配送供应链管理系统
java·生鲜配送源代码·供应链源代码·生鲜供应链源代码·企业erp源代码·云仓供应链管理系统
大厂数码评测员20 分钟前
2026 年家庭菜谱记录工具怎么选:从功能边界和小程序代码实现看免费与付费差异
java·开发语言·apache
twc82920 分钟前
从架构视角梳理全链路压测的核心业务链路
java·大数据·软件测试·架构·性能测试·全链路压测
XS03010622 分钟前
Java基础 set集合
java·开发语言
驭渊的小故事23 分钟前
继承和多态
java·开发语言
a7963lin23 分钟前
Golang怎么用GitLab CI构建_Golang如何编写.gitlab-ci.yml自动化构建流程【教程】
jvm·数据库·python
Bechamz26 分钟前
大数据开发学习Day27
java·大数据·学习