深度解析DolphinScheduler核心架构:DolphinScheduler集群部署说明

一:集群规划

1:集群规划

集群模式下,可以配置多个Master和多个woker通常来讲,2-3个Master若干个Worker是相对合理的。如果集群资源有限,此处配置一个 Master,三个Worker,进群规划如下:

|--------------------|-----------------------------|
| 192.168.67.133 | MySQL8.0.44 |
| 192.168.67.137 | Master、Worker、Zookeeper |
| 192.168.67.138 | Worker、Zookeeper |
| 192.168.67.139 | Worker、Zookeeper |

2:物理机准备工作

1:三台物理机都部署jdk1.8并且配置环境变量Hadoop home

2:部署MySQL数据库,数据库版本5.7+ 或者 PG 8.2.15+

3:需要部署Zookeeper(3.4.6+)这里我们选择3.6.14

4:三台节点均需要安装进程树分析工具psmisc
给三台物理机安装psmisc

复制代码
[root@localhost ~]# yum install -y psmisc
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
base                                                                                                                                                           | 3.6 kB  00:00:00
docker-ce-stable                                                                                                                                               | 3.5 kB  00:00:00
extras                                                                                                                                                         | 2.9 kB  00:00:00
updates                                                                                                                                                        | 2.9 kB  00:00:00
Package psmisc-22.20-17.el7.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]#

第二步:给192.168.67.133安装zookeeper

3:解压DolphinScheduler安装包

相关推荐
得物技术1 分钟前
Redis 自动化运维最佳实践|得物技术
大数据·redis
架构师沉默1 小时前
为什么国外程序员都写独立博客,而国内都在公众号?
java·后端·架构
小程故事多_801 小时前
破解Agent“半途摆烂”困局,OpenDev凭Harness架构,撕开Code Agents的工程化真相
人工智能·架构·aigc·harness
Elastic 中国社区官方博客1 小时前
Elasticsearch:如何在 Elastic AI Builder 里使用 DSL 来查询 Elasticsearch
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
tian_jiangnan1 小时前
flink大数据15天速成教程
大数据·flink
Coder个人博客1 小时前
06_apollo_third_party子模块整体软件架构深入分析文档
linux·人工智能·架构
一休哥※2 小时前
ClawTeam 完整使用教程:用 AI 多智能体团队自动完成复杂任务
大数据·人工智能·elasticsearch
yitian_hm2 小时前
HBase 原理深度剖析:从数据模型到存储机制
大数据·数据库·hbase
Brandon汐2 小时前
LVS+Keepalived 双主架构全规划(LVS→HAProxy→Web)
容器·架构·lvs
Moe4883 小时前
WebSocket :从浏览器 API 到 Spring 握手、Handler 与前端客户端
java·后端·架构