深度解析DolphinScheduler核心架构:DolphinScheduler集群部署说明

一:集群规划

1:集群规划

集群模式下,可以配置多个Master和多个woker通常来讲,2-3个Master若干个Worker是相对合理的。如果集群资源有限,此处配置一个 Master,三个Worker,进群规划如下:

|--------------------|-----------------------------|
| 192.168.67.133 | MySQL8.0.44 |
| 192.168.67.137 | Master、Worker、Zookeeper |
| 192.168.67.138 | Worker、Zookeeper |
| 192.168.67.139 | Worker、Zookeeper |

2:物理机准备工作

1:三台物理机都部署jdk1.8并且配置环境变量Hadoop home

2:部署MySQL数据库,数据库版本5.7+ 或者 PG 8.2.15+

3:需要部署Zookeeper(3.4.6+)这里我们选择3.6.14

4:三台节点均需要安装进程树分析工具psmisc
给三台物理机安装psmisc

复制代码
[root@localhost ~]# yum install -y psmisc
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
base                                                                                                                                                           | 3.6 kB  00:00:00
docker-ce-stable                                                                                                                                               | 3.5 kB  00:00:00
extras                                                                                                                                                         | 2.9 kB  00:00:00
updates                                                                                                                                                        | 2.9 kB  00:00:00
Package psmisc-22.20-17.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]#

第二步:给192.168.67.133安装zookeeper

3:解压DolphinScheduler安装包

相关推荐
Sylvia33.2 分钟前
篮球数据API的技术架构与工程实践:基于火星数据WebSocket实时推送体系
java·python·websocket·网络协议·架构
新元代码28 分钟前
探秘鸿蒙南向开发:Hi3861 架构、编译与实战全解析
华为·架构·harmonyos
字节跳动数据平台41 分钟前
Lance Meetup 2026 · 上海站|正式开启报名!
大数据
小码哥哥1 小时前
从一个文件管理器到一体化数字底座:七次迭代背后的技术架构演进
架构
汉拓3D数字化1 小时前
PDM到ERP的数据通道:四种方案的真实成本和落地难度
大数据·科技·系统·软件
GlobalInfo2 小时前
AI与另类数据融合,市场研究正在从“经验驱动”走向“数据智能”
大数据·网络·人工智能·ai
新点一讯2 小时前
聚焦流程数智升级,九科信息企业自动化智能体赋能高效运营
大数据·人工智能
千视kiloview2 小时前
“轻”不等于降级:IP时代广播制作系统的轻量化与Hybrid架构实践
网络·tcp/ip·架构
美狐美颜sdk2 小时前
直播APP开发完整流程:需求规划、UI设计、功能开发、美颜SDK接入全解析
大数据·人工智能·音视频·美颜sdk·美颜api
小码哥哥2 小时前
当企业软件开始“越界“:从单一工具到超级集合的架构演进
大数据·人工智能·架构