深度解析DolphinScheduler核心架构:DolphinScheduler集群部署说明

一:集群规划

1:集群规划

集群模式下,可以配置多个Master和多个woker通常来讲,2-3个Master若干个Worker是相对合理的。如果集群资源有限,此处配置一个 Master,三个Worker,进群规划如下:

|--------------------|-----------------------------|
| 192.168.67.133 | MySQL8.0.44 |
| 192.168.67.137 | Master、Worker、Zookeeper |
| 192.168.67.138 | Worker、Zookeeper |
| 192.168.67.139 | Worker、Zookeeper |

2:物理机准备工作

1:三台物理机都部署jdk1.8并且配置环境变量Hadoop home

2:部署MySQL数据库,数据库版本5.7+ 或者 PG 8.2.15+

3:需要部署Zookeeper(3.4.6+)这里我们选择3.6.14

4:三台节点均需要安装进程树分析工具psmisc
给三台物理机安装psmisc

复制代码
[root@localhost ~]# yum install -y psmisc
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
base                                                                                                                                                           | 3.6 kB  00:00:00
docker-ce-stable                                                                                                                                               | 3.5 kB  00:00:00
extras                                                                                                                                                         | 2.9 kB  00:00:00
updates                                                                                                                                                        | 2.9 kB  00:00:00
Package psmisc-22.20-17.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]#

第二步:给192.168.67.133安装zookeeper

3:解压DolphinScheduler安装包

相关推荐
亚空间仓鼠16 小时前
Docker容器化高可用架构部署方案(十四)
docker·容器·架构
1892280486117 小时前
NY379固态MT29F32T08GSLBHL8-36QA:B
大数据·服务器·人工智能·科技·缓存
2601_9577867717 小时前
多平台矩阵系统的反脆弱架构:如何用技术解耦对抗平台规则的不确定性
人工智能·矩阵·架构·平台解耦
jkyy201417 小时前
顺应IoT与健康产业融合趋势,补齐中小企业健康数字化短板
大数据·人工智能·信息可视化·健康医疗
云栖梦泽在17 小时前
AI安全实战:AI模型投毒攻击的检测与修复实战
大数据·人工智能·安全
随身数智备忘录17 小时前
安全生产法详解:安全生产法如何规范企业安全管理行为?
大数据·人工智能
虎冯河17 小时前
Nano Banana Pro生图逻辑详解—— 从底层架构到实践指南
架构·aigc
狒狒热知识17 小时前
软文营销媒体发稿效果倍增逻辑内容渠道平台三维协同运营解析
大数据
程序猿追18 小时前
行业新趋势:Agent 重构,企业大屏从静态展示走向智能交互
大数据·人工智能·microsoft
维双云18 小时前
搭建美妆小程序,纯展示产品类型的,怎样做更适合中小商家?
大数据