深度解析DolphinScheduler核心架构:DolphinScheduler集群部署说明

一:集群规划

1:集群规划

集群模式下,可以配置多个Master和多个woker通常来讲,2-3个Master若干个Worker是相对合理的。如果集群资源有限,此处配置一个 Master,三个Worker,进群规划如下:

|--------------------|-----------------------------|
| 192.168.67.133 | MySQL8.0.44 |
| 192.168.67.137 | Master、Worker、Zookeeper |
| 192.168.67.138 | Worker、Zookeeper |
| 192.168.67.139 | Worker、Zookeeper |

2:物理机准备工作

1:三台物理机都部署jdk1.8并且配置环境变量Hadoop home

2:部署MySQL数据库,数据库版本5.7+ 或者 PG 8.2.15+

3:需要部署Zookeeper(3.4.6+)这里我们选择3.6.14

4:三台节点均需要安装进程树分析工具psmisc
给三台物理机安装psmisc

复制代码
[root@localhost ~]# yum install -y psmisc
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
base                                                                                                                                                           | 3.6 kB  00:00:00
docker-ce-stable                                                                                                                                               | 3.5 kB  00:00:00
extras                                                                                                                                                         | 2.9 kB  00:00:00
updates                                                                                                                                                        | 2.9 kB  00:00:00
Package psmisc-22.20-17.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]#

第二步:给192.168.67.133安装zookeeper

3:解压DolphinScheduler安装包

相关推荐
春日见8 小时前
拉取与合并:如何让个人分支既包含你昨天的修改,也包含 develop 最新更新
大数据·人工智能·深度学习·elasticsearch·搜索引擎
Elastic 中国社区官方博客10 小时前
如何防御你的 RAG 系统免受上下文投毒攻击
大数据·运维·人工智能·elasticsearch·搜索引擎·ai·全文检索
YangYang9YangYan11 小时前
2026中专大数据与会计专业数据分析发展路径
大数据·数据挖掘·数据分析
牛奶11 小时前
《前端架构设计》:除了写代码,我们还得管点啥
前端·架构·设计
W1333090890712 小时前
工业大数据方向,CDA证书和工业数据工程师证哪个更实用?
大数据
Re.不晚12 小时前
可视化大数据——淘宝母婴购物数据【含详细代码】
大数据·阿里云·云计算
Elastic 中国社区官方博客12 小时前
Elasticsearch:交易搜索 - AI Agent builder
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
苏渡苇13 小时前
Java + Redis + MySQL:工业时序数据缓存与持久化实战(适配高频采集场景)
java·spring boot·redis·后端·spring·缓存·架构
SQL必知必会13 小时前
使用 SQL 进行 RFM 客户细分分析
大数据·数据库·sql