Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程

安装部署可参考官网

Version 3.1.8/部署指南/伪集群部署(Pseudo-Cluster)https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/installation/pseudo-cluster

也可以参考我写贴子

DolphinScheduler 3.0安装及使用-CSDN博客DolphinScheduler 3.0版本的安装教程https://blog.csdn.net/qq0719/article/details/126506093?spm=1001.2014.3001.5502

在这里我补充说明升级Apache DolphinScheduler的几个关键点

做好已有元数据做备份(以 MySQL为例,元数据存储在Mysql的dolphinscheduler数据库里)

伪代码

bash 复制代码
mysqldump -u root -p dolphinscheduler > dolphinscheduler_backup_XXX.sql

apache-dolphinscheduler-3.1.8-bin/bin/env/install_env.sh

apache-dolphinscheduler-3.1.8-bin/bin/env/dolphinscheduler_env.sh

这两个文件的配置项,可以从旧版本的相应文件里直接复制粘贴

需要将 使用到的数据库(比如MySQL)的connector (本人亲测 mysql-connector-java-8.0.30.jar 适用,其他connector版本未测试)放到相应的libs库里

api-server/libs

alert-server/libs

master-server/libs

worker-server/libs

tools/libs

伪代码如下

bash 复制代码
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/alert-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs

common.properties 文件,需要修改相应的参数

alert-server/conf/common.properties
api-server/conf/common.properties
master-server/conf/common.properties
worker-server/conf/common.properties

本人升级时,只修改了

api-server/conf/common.properties

worker-server/conf/common.properties

这两个文件的三个参数

resource.storage.type

resource.storage.upload.base.path

resource.hdfs.fs.defaultFS

需要注意的是,3.1.8此文件的有些参数名和3.0.0此文件中的参数名有变化。

3.0.0参数

resource.upload.path

对应

3.1.8参数

resource.storage.upload.base.path

3.0.0参数

fs.defaultFS

对应

3.1.8参数

resource.hdfs.fs.defaultFS

如果是CDH集群(比如CDH 6.2.1)升级使用 Apache DolphinScheduler 3.1.8

还需要替换相应的zookeeper jar包,否则会有 zookeeper Failed to delete registry key 报错提示

参考

dolphin3.0在伪集群模式下总是会报zookeeper Failed to delete registry key,我该怎么排查这个问题https://github.com/apache/dolphinscheduler/discussions/11948

看看是不是zookeeper的版本不兼容,dolphinscheduler3.1.8版本的zookeeper和curator是下面这个:
curator-client-5.3.0.jar
curator-recipes-5.3.0.jar
curator-framework-5.3.0.jar
zookeeper-3.8.0.jar

将/api-server/libs,master-server/libs,worker-server/libs,/tools/libs下的zookeeper,curator的版本替换成zookeeper服务版本一致才行。

注意:zookeeper-3.4.x 对应的curator-*版本必须是4.2.0

cdh6.2.1 使用的是

|-----------|----------------|
| ZooKeeper | 3.4.5+cdh6.2.1 |

即 zookeeper-3.4.5 版本,

需要下载相应的jar包 zookeeper-3.4.5.jar

可从如下网站上搜索下载jar包

Jar查找,Jar下载,class文件,Maven仓库查询,Gradle引入代码 -时代Java为了开发者提供便利查询服务:包括查找Jar,Jar下载,查找class文件,查询Maven仓库及引入代码,查询Gradle引入代码等与Java开发相关的功能服务。https://nowjava.com/jar/

此外还需要下载

curator-client-4.2.0.jar

curator-recipes-4.2.0.jar

curator-framework-4.2.0.jar

这三个jar包。

即:

zookeeper-3.4.5.jar

curator-client-4.2.0.jar
curator-recipes-4.2.0.jar
curator-framework-4.2.0.jar

将这4个jar包放到如下

api-server/libs

master-server/libs

worker-server/libs

tools/libs

这四个目录,并替换原先的版本jar包

伪代码如下

bash 复制代码
#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

============================================

以上这五点都修改完后,

停掉DolphinScheduler 3.0.0

伪代码

bash 复制代码
su - dolphinscheduler
cd XXXX/apache-dolphinscheduler-3.0.0-bin
# 一键停止集群所有服务
bash ./bin/stop-all.sh

初始化DolphinScheduler 3.1.8

bash 复制代码
cd XXXX/apache-dolphinscheduler-3.1.8-bin

sh ./tools/bin/upgrade-schema.sh
bash 复制代码
cd XXXX/apache-dolphinscheduler-3.1.8-bin

sh ./bin/install.sh

‧★,:*:‧\( ̄▽ ̄)/‧:*‧°★* 升级完成。‧★,:*:‧\( ̄▽ ̄)/‧:*‧°★*

相关推荐
数智顾问1 小时前
破解 Shuffle 阻塞:Spark RDD 宽窄依赖在实时特征工程中的实战与未来
大数据·分布式·spark
Giser探索家1 小时前
遥感卫星升轨 / 降轨技术解析:对图像光照、对比度的影响及工程化应用
大数据·人工智能·算法·安全·计算机视觉·分类
lisw052 小时前
数字化科技简化移民流程的 5 种方式
大数据·人工智能·机器学习
NewCarRen2 小时前
基于自动驾驶仿真软件的交通事故档案建模与分析
大数据·汽车功能安全
JAVA学习通3 小时前
Replication(下):事务,一致性与共识
大数据·分布式·算法
vivo互联网技术3 小时前
vivo HDFS EC大规模落地实践
大数据·hdfs·大数据计算与存储·erasure coding
api_180079054603 小时前
异步数据采集实践:用 Python/Node.js 构建高并发淘宝商品 API 调用引擎
大数据·开发语言·数据库·数据挖掘·node.js
科研服务器mike_leeso4 小时前
41 年 7 次转型!戴尔从 PC 到 AI 工厂的技术跃迁与组织重构
大数据·人工智能·机器学习
2501_913981784 小时前
2025年智能家居无线数传设备品牌方案精选
大数据·人工智能·智能家居
想ai抽4 小时前
吃透大数据算法-算法地图(备用)
大数据·数据库·spark