Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程

安装部署可参考官网

Version 3.1.8/部署指南/伪集群部署(Pseudo-Cluster)https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/installation/pseudo-cluster

也可以参考我写贴子

DolphinScheduler 3.0安装及使用-CSDN博客DolphinScheduler 3.0版本的安装教程https://blog.csdn.net/qq0719/article/details/126506093?spm=1001.2014.3001.5502

在这里我补充说明升级Apache DolphinScheduler的几个关键点

①

做好已有元数据做备份(以 MySQL为例,元数据存储在Mysql的dolphinscheduler数据库里)

伪代码

bash 复制代码
mysqldump -u root -p dolphinscheduler > dolphinscheduler_backup_XXX.sql

②

apache-dolphinscheduler-3.1.8-bin/bin/env/install_env.sh

apache-dolphinscheduler-3.1.8-bin/bin/env/dolphinscheduler_env.sh

这两个文件的配置项,可以从旧版本的相应文件里直接复制粘贴

③

需要将 使用到的数据库(比如MySQL)的connector (本人亲测 mysql-connector-java-8.0.30.jar 适用,其他connector版本未测试)放到相应的libs库里

api-server/libs

alert-server/libs

master-server/libs

worker-server/libs

tools/libs

伪代码如下

bash 复制代码
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/alert-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs

④

common.properties 文件,需要修改相应的参数

alert-server/conf/common.properties
api-server/conf/common.properties
master-server/conf/common.properties
worker-server/conf/common.properties

本人升级时,只修改了

api-server/conf/common.properties

worker-server/conf/common.properties

这两个文件的三个参数

(

resource.storage.type

resource.storage.upload.base.path

resource.hdfs.fs.defaultFS

)

需要注意的是,3.1.8此文件的有些参数名和3.0.0此文件中的参数名有变化。

3.0.0参数

resource.upload.path

对应

3.1.8参数

resource.storage.upload.base.path

3.0.0参数

fs.defaultFS

对应

3.1.8参数

resource.hdfs.fs.defaultFS

⑤

如果是CDH集群(比如CDH 6.2.1)升级使用 Apache DolphinScheduler 3.1.8

还需要替换相应的zookeeper jar包,否则会有 zookeeper Failed to delete registry key 报错提示

参考

dolphin3.0在伪集群模式下总是会报zookeeper Failed to delete registry key,我该怎么排查这个问题https://github.com/apache/dolphinscheduler/discussions/11948

看看是不是zookeeper的版本不兼容,dolphinscheduler3.1.8版本的zookeeper和curator是下面这个:
curator-client-5.3.0.jar
curator-recipes-5.3.0.jar
curator-framework-5.3.0.jar
zookeeper-3.8.0.jar

将/api-server/libs,master-server/libs,worker-server/libs,/tools/libs下的zookeeper,curator的版本替换成zookeeper服务版本一致才行。

注意:zookeeper-3.4.x 对应的curator-*版本必须是4.2.0

cdh6.2.1 使用的是

|-----------|----------------|
| ZooKeeper | 3.4.5+cdh6.2.1 |

即 zookeeper-3.4.5 版本,

需要下载相应的jar包 zookeeper-3.4.5.jar

可从如下网站上搜索下载jar包

Jar查找,Jar下载,class文件,Maven仓库查询,Gradle引入代码 -时代Java为了开发者提供便利查询服务:包括查找Jar,Jar下载,查找class文件,查询Maven仓库及引入代码,查询Gradle引入代码等与Java开发相关的功能服务。https://nowjava.com/jar/

此外还需要下载

curator-client-4.2.0.jar

curator-recipes-4.2.0.jar

curator-framework-4.2.0.jar

这三个jar包。

即:

zookeeper-3.4.5.jar

curator-client-4.2.0.jar
curator-recipes-4.2.0.jar
curator-framework-4.2.0.jar

将这4个jar包放到如下

api-server/libs

master-server/libs

worker-server/libs

tools/libs

这四个目录,并替换原先的版本jar包

伪代码如下

bash 复制代码
#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

============================================

以上这五点都修改完后,

停掉DolphinScheduler 3.0.0

伪代码

bash 复制代码
su - dolphinscheduler
cd XXXX/apache-dolphinscheduler-3.0.0-bin
# 一键停止集群所有服务
bash ./bin/stop-all.sh

初始化DolphinScheduler 3.1.8

bash 复制代码
cd XXXX/apache-dolphinscheduler-3.1.8-bin

sh ./tools/bin/upgrade-schema.sh
bash 复制代码
cd XXXX/apache-dolphinscheduler-3.1.8-bin

sh ./bin/install.sh

‧★,:*:‧\( ̄▽ ̄)/‧:*‧°★* 升级完成。‧★,:*:‧\( ̄▽ ̄)/‧:*‧°★*

相关推荐
数字新视界8 小时前
信创动环监控在机房环境管理中的智能化应用与实践分析
大数据·人工智能·物联网·信息与通信·动环监控系统
大大大大晴天12 小时前
数仓分层架构设计:ODS、DWD、DWS、ADS、DIM 如何各司其职
大数据
东鸿电子Eastron19 小时前
工厂节能降本落地指南:从精准能源计量搭建数字化管理基础
大数据·人工智能·能源·智能电表·能耗管理
吾AI科技19 小时前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
P1Browser1 天前
账号触发平台安全审核?拆解标准申诉流程与材料清单
大数据·人工智能·安全·多账号管理·指纹浏览器·账户安全·运营合规
云南新人和数采集团2 天前
云南靠谱软件开发公司选型指南:以昆明新腾科技为例
大数据·人工智能·科技
AllData公司负责人2 天前
AI大模型数据开发底座系列说明书:AllData集成DB-GPT开源项目建设 AI 多模态分析底座,涵盖模态解析/智能大屏/MCP 扩展!
大数据·数据库·人工智能·gpt·数据采集·数据接入·模态解析
wno7042 天前
常用的Git命令清单
大数据·git·elasticsearch
YIN_尹3 天前
【git原理与使用】git基本操作及底层原理(二)
大数据·git·elasticsearch
武子康3 天前
H3-World 写了 CPU offload,为什么还不能保证塞进 48GB?
大数据·人工智能·深度学习