深度解析DolphinScheduler核心架构:DolphinScheduler集群部署说明

一:集群规划

1:集群规划

集群模式下,可以配置多个Master和多个woker通常来讲,2-3个Master若干个Worker是相对合理的。如果集群资源有限,此处配置一个 Master,三个Worker,进群规划如下:

|--------------------|-----------------------------|
| 192.168.67.133 | MySQL8.0.44 |
| 192.168.67.137 | Master、Worker、Zookeeper |
| 192.168.67.138 | Worker、Zookeeper |
| 192.168.67.139 | Worker、Zookeeper |

2:物理机准备工作

1:三台物理机都部署jdk1.8并且配置环境变量Hadoop home

2:部署MySQL数据库,数据库版本5.7+ 或者 PG 8.2.15+

3:需要部署Zookeeper(3.4.6+)这里我们选择3.6.14

4:三台节点均需要安装进程树分析工具psmisc
给三台物理机安装psmisc

复制代码
[root@localhost ~]# yum install -y psmisc
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
base                                                                                                                                                           | 3.6 kB  00:00:00
docker-ce-stable                                                                                                                                               | 3.5 kB  00:00:00
extras                                                                                                                                                         | 2.9 kB  00:00:00
updates                                                                                                                                                        | 2.9 kB  00:00:00
Package psmisc-22.20-17.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]#

第二步:给192.168.67.133安装zookeeper

3:解压DolphinScheduler安装包

相关推荐
阿坤带你走近大数据2 小时前
flink的架构介绍
大数据·架构·flink
小短腿的代码世界2 小时前
高性能订单路由与智能拆单算法:Qt在量化交易系统中的核心架构——毫秒级延迟下如何隐藏你的交易意图?
开发语言·qt·架构
阿正的梦工坊2 小时前
【Rust】20-Rust 编译器架构与 MIR/LLVM 优化管线
开发语言·架构·rust
2501_946786202 小时前
2026算法分级分类备案TOP5解读——吃透差异化监管,规避过度合规风险
大数据
IPDEEP全球代理2 小时前
TikTok为什么封号?应该怎么解决?(附IP环境解决方案)
大数据
霸道流氓气质3 小时前
Spring Boot 微服务中“调用第三方接口 → 数据加工 → 分接口返回“的完整架构实践
spring boot·微服务·架构
专注于大数据技术栈3 小时前
什么是Trino?大数据统一联邦查询引擎详解
大数据·数据库
光锥智能3 小时前
赛豆:赛力斯的出路,火山引擎的标杆
大数据·人工智能·火山引擎
皮皮学姐分享-ppx12 小时前
政府绿色采购数据库(2015-2024.3)
大数据·网络·数据库·人工智能·制造
Java识堂12 小时前
多级负载均衡架构
运维·架构·负载均衡