Apache DolphinScheduler 3.2.2 版本正式发布!

Apache DolphinScheduler 3.2.2 版本正式发布!

近日,Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复,新增若干特性,并进行了众多改进和 Bug 修复,以及文档修复等。

📥3.2.2版本下载:https://dolphinscheduler.apache.org/zh-cn/download/3.2.2

⚙️Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.2.2

主要更新

增加参数类型

为了更有效地提升用户体验,本版本针对工作流启动参数、全局参数等参数类型进行拓展,把原有的固定 VARCHAR 数据值类型参数,拓展成为用户能够自行选择的多种类型。

作业数量统计

增加 Master&Worker 的忙碌状态,且增加 alert-server 服务监控,对页面 UI 显示进行优化,便于用户更为直观地监控核心服务状态。另外,增加工作流启动命令和失败命令的展示页面,方便用户直观地掌握工作流启动命令执行情况。

其他重要问题修复

  • 完善了remote shell文档
  • 对工作流操作增加依赖提示
  • 页面交互优化(项目偏好设置)
  • 替换云环境中Java任务依赖环境为jdk
  • 对文件操作的全路径检测
  • 增加记录项目参数的操作详情
  • 优化告警服务启动时加载bean范围
  • 修复参数丢失问题
  • 分页查询时总页数错误问题
  • 修复任务终止后异常调度问题
  • 修复普通用户授权项目问题
  • 修复任务组执行异常导致OOM问题
  • 优化Switch节点检查分支是否存在

新增Feature

  • [DSIP-39][参数] 改进启动参数/全局参数/项目参数数据类型 ( #15967 )@sdhzwc
  • [Improvement][监控] 显示 Master&Worker 忙碌或正常状态并显示命令表列表 ( #15978 )@qingwli
  • 添加 ETCD/JDBC 注册指南链接 ( #15597 )@pegasas

Improvement

将schema 330 合并到 321 并更改文档 ( #15582 ) ( #15586 )@zhongjiajie

[Improvement][API] 添加 PageInfo UT ( #15622 )@Gallardot

[Improvement-15603][API] 删除、修改工作流时,系统可以检查是否有任何任务依赖于它。(#15681@calvinjiang

[Improvement-15694][UI] 保存任务表单后,任务节点使用错误的背景颜色。( #15695 )@calvinjiang

[Improvement-15707][Master] 解决有任务依赖的工作流无法正常运作的问题( #15712 )@calvinjiang

[Improvement-15723][UI] 解决项目偏好设置替换遗漏问题( #15724 )@calvinjiang

[Improvement-15725][UI] 项目偏好设置的默认选项可以清除。( #15727 )@calvinjiang

[CI] 合并前需要传递前端 ci ( #15735 )@SbloodyS

[Improvement][RemoteLogging] 将 init 移至 loghandler ( #15780 )@pegasas

[Improvement] 添加资源全路径检查 ( #15786 )@caishunfeng

[Improvement-15744][parameter] 项目参数增加更新时间及更新用户id ( #15745 )@sdhzwc

从 dolphinscheduler-task-dataquality 中删除 dolphinscheduler-data-quality (#15791@ruanwenjun

[Improvement-15713][api]DataSource 和 UdfFunc 列表查询使用枚举代码值而不是ordinal ( #15714 )@songwenyong

[Improvement] 修复 ProcessServiceImpl 的拼写错误 ( #15817 )@qingwli

[Improvement][Api] 删除无用的 batchUpdateUdfFunc 方法 ( #15844 )@qingwli

[Fix-15866][Doc] 更新taobao npm 镜像地址 ( #15867 )@xxzuo

添加 DSIP 模板(#15871@ruanwenjun

[DSIP-28] 不要扫描类路径下的整个目录 bean(#15874@ruanwenjun

[DSIP-31] 减少 hikari 的连接池大小 ( #15890 )@ruanwenjun

[Improvement] 修复警报代码坏味道 ( #15892 )@qingwli

使用 workerNodeInfoWriteLock 更新工作节点信息 ( #15903 )@DaqianLiao

[Improvement-15919][datasource] Improvement数据源获取名称 ( #15920 )@sdhzwc

[Improvement-15910][UI] 使用并行执行模式时,应为自定义并行度提供默认值。( #15912 )@calvinjiang

优化 RPC 基类的范围(#15946@ruanwenjun

[DSIP-35][Alert] 重构警报线程模型 ( #15932 )@ruanwenjun

[Improvement] 修复 pytorch 任务中的 git url 命令注入问题( #15873 ) ( #15950 )@cntigers

添加注册模块统一集成测试 ( #15981 )@ruanwenjun

[Improvement] 使用带有 snake yaml 的安全构造函数 ( #15758 )@EricGao888

[Improvement][监控] 为监控器添加 UT ( #15998 )@qingwli

弃用 2.0.9/3.0.6 升级测试(#16012@ruanwenjun

[Improvement][Doc]修正 appendix.md 中文文档中的错别字 ( #16033 )@TianXinCoord

[Improvement][Helm] 制作 api/master/worker/alert 配置的 configmap ( #16058 )@pegasas

[Improvement-16125][dolphinscheduler-dist] 减少二进制分发 tarball 文件的大小 ( #16192 )@zhuxt2015

Bugfix

修复恢复暂停工作流实例可能会生成故障转移任务实例问题(#15611@ruanwenjun

[FIX] 修复审计日志的 parma 拼写错误 ( #16077 )@qingwli

修复 out 参数可能丢失问题 ( #15617 )@ruanwenjun

[Bug][API] 列表分页缺少总页数 ( #15619 )@Gallardot

修复 Hive jdbc url(#15627@xxzuo

[Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 ( #15621 )@cqutwangyu

[Bug] 修复可以修改不在资源路径下的文件的问题 ( #15652 )@ruanwenjun

[Bug] 修复即使任务已被终止也可能会被调度的问题(#15662@ruanwenjun

[Bug] [Worker] 修复:创建具有主目录的 Linux 用户 ( #15670 )@zero-element

[Fix-15639] [Master] paramterPassing 为空情况 NPE ( #15678 )@liuchunhua

[Fix-15679][UI] 修复开关状态按钮显示不正确问题 ( #15686 )@liuchunhua

[Fix][Master] 修复 worker 故障转移时的潜在危险 ( #15689 )@ZhongJinHacker

[bug][插件]修复 readme.md 中的单词拼写错误 ( #15716 )@ZhongJinHacker

修复"启动参数覆盖全局参数"时出现的 NullPointerException 问题 ( #15677 )@wustlz

[CI] 修复 UI 构建错误 ( #15732 )@SbloodyS

[Fix-15698][UI] 在新标签页中打开时关闭定义 ( #15736 )@arlendp

[CI] 修复前端 ci 不触发问题 ( #15749 )@SbloodyS

[Bug] 当特定工作流版本下存在未完成的工作流实例时,禁止删除该版本(#15730@ruanwenjun

[Bug] 修复延迟执行任务永远不会被调度的问题 ( #15751 )@ruanwenjun

[Bug] 修复 Switch 任务不检查分支是否存在问题 ( #15755 )@ruanwenjun

[Fix] 添加资源全名检查 ( #15757 )@caishunfeng

[Fix-15771] 修复普通用户可以授予项目权限的问题 ( #15772 )@silentxingtian

[bug][ui] 添加缺失的数据源并更新数据源 ID ( #15776 )@whhe

[Bug] 修复 TaskGroupCoordinator 在有大量等待 TaskGroupQueue 时可能导致 OOM 的问题 ( #15773 )@ruanwenjun

[Bug] 修复依赖任务逻辑 ( #15795 )@abzymeinsjtu

[Bug] [Common] 修复 common.properties 上的拼写错误(#15806@pegasas

修复无法构造 StreamingTaskTriggerResponse 实例的问题(#15816@atjiucheng

[Improvement] 异常字符检查 ( #15824 )@pinkfloyds

[Improvement] 修改 python-gateway: enabled 默认为 false。( #15825 )@pinkfloyds

[Fix-15787] 重用代码并解决复杂 SQL 解析异常的问题... ( #15833 )@xinxingi

修复 ErrorCommand 丢失 Command 中的某些字段 ( #15847 )@ruanwenjun

绑定 processId 来构造 CodeGenerator ( #15848 )@ruanwenjun

禁止强制成功运行正在运行的工作流实例中的任务实例 ( #15855 )@ruanwenjun

[Bug] 修复 QUARTZ 表顺序在初始化模式中不正确的问题 ( #15857 )@ruanwenjun

将 ssh 心跳类型更改为 IGNORE(#15858@ruanwenjun

[FIX] 修复恢复已停止实例失败的问题 ( #15880 )@privking

修复 queryByTypeAndJobId 可能因多个结果而出错的问题 ( #15883 )@ruanwenjun

修复终止动态任务不会终止等待运行的工作流实例问题 ( #15896 )@ruanwenjun

修复自动并发创建 Tennat 会导致任务失败的问题 ( #15909 )@ruanwenjun

修复 java 任务中 jar 路径不正确的问题 ( #15906 )@ruanwenjun

[修复] 已完成的任务无法在工作流实例中重新执行(#15884@privking

[Fix-15937] 将 tenantCode 传播添加到 DynamicCommandUtils.createCommand(#15956@stoplyy

[fix-15907] 修复获取远程 shell 退出代码不正确的问题 ( #15911 )@Zzih96

[Fix-15969] [Helm] 不存在 DB 节点 ( #15970 )@Gallardot

EMR 任务支持替换参数占位符 ( #15975 )@ruanwenjun

文档:修复拼写错误(#15996@jbampton

修复 ci 中 pg 数据库架构变更检查失败问题 ( #15995 )@ruanwenjun

[Fix-15992] 通过有序迭代 MasterPriorityQueue 来维护slot index(#15993@coldestlin

修复由于 varpool 中的重复键导致工作流实例重新启动失败问题(#16001@ruanwenjun

在注册表 IT 中使用随机端口 ( #16014 )@ruanwenjun

修复并发操作导致的 rpc channel 泄漏 ( #16021 )@ruanwenjun

修复 WorkerTaskExecutorThreadPool#isOverload 不正确的问题 ( #16027 )@ruanwenjun

[Fix][CI] 修复 E2E-K8S-Execute 的 ci 错误 ( #16031 )@rickchengx

[Hotfix] 修复 NettyRemotingClient 可能抛出 IllegalMonitorStateException 的问题 ( #16038 )@ruanwenjun

[Fix-16046][SqlTask] 修复 Sql 任务使用时间类型不正确的问题 ( #16050 )@yinxiaolog

[helm] 从通用标签中删除 AppVersion ( #16066 )@Gallardot

恢复"[Improvement] 异常字符检查"(#16102@ruanwenjun

修复状态为 dispatch 的任务实例不会进行故障转移 ( #16107 )@ruanwenjun

修复切换任务下的任务节点不会被跳过 ( #16108 )@ruanwenjun

[Bug] 修复条件任务会导致工作流实例失败 ( #16152 )@ruanwenjun

[Fix-16063] 修复升级到 v3.2.1 后管理员登录租户未指定的问题 ( #16064 )@tinglink

[Fix-16174] 集群安装指南不正确。(#16208@SbloodyS

[Fix-16222] 修复 worker 过载导致任务失败的问题 ( #16221 )@ruanwenjun

[Fix-16211] 删除 buildJarCommand 中的 ExecutePath 以修复 Jar 模式下的 Java 任务(#16238@lanxing2

[Fix-16253] 修复 JDBCRegistry 刷新锁错误 ( #16252 )@ruanwenjun

[Fix-16272][警报服务器] 警报服务器发送警报失败 ( #16275 )@wangbowen1024

[CP-16252] 修复 JDBCRegistry 刷新锁定错误 ( #16252 ) ( #16273 )@ruanwenjun

[Fix-16191] 修复任务无法使用工作流的环境 ( #16199 )@ruanwenjun

[Bug][Worker] 将 jre 替换为 jdk ( #15764 )@Gallardot

Document修复

[DSIP-32][Master] 为master获取命令添加命令获取器策略 ( #15900 )@ruanwenjun

[Doc] 修复 CNCF logo(#15634@Gallardot

[Doc][远程 shell] 缺少版本 3.2.1 的远程 shell 文档 ( #15660 )@pegasas

[Doc] 修复 ci 文档检查超时问题 ( #15664 )@SbloodyS

[Doc] 修复资源配置存在拼写错误 ( #15988 )@dongyu6

文档:修复 contribute.md 中的类型(#16022@jxbwhe

Chore

琐事:修改一些 CODEOWNERS(#15654@zhongjiajie

[HotFix] [CI] 暂时跳过可合并检查 ( #15958 )@SbloodyS

[Chore] 撤销 3.2.2 版一些不兼容的更改 ( #16214 )@SbloodyS

[Chore] 报警服务器发送报警失败 ( #16275 ) ( #16284 )@SbloodyS

[Chore] [Cherry-Pick] 挑选一些 pr 到 3.2.2 ( #16215 )@SbloodyS

[Hotfix] 修复 dsip 名称问题 ( #15876 )@ruanwenjun

致谢贡献者

感谢本次发版人@wangxj3 主导本次发版工作,@Kerwin、@ruanwenjun和@SbloodyS 对本次发版工作的指导,以及以下 Contributor 的支持(排名不分先后): DaqianLiao, EricGao888, Gallardot, SbloodyS, TianXinCoord, ZhongJinHacker, Zzih96, abzymeinsjtu, arlendp, atjiucheng, caishunfeng, calvinjiang, cntigers, coldestlin, cqutwangyu, dongyu6, jbampton, jxbwhe, lanxing2, liuchunhua, pegasas, pinkfloyds, privking, qingwli, rickchengx, ruanwenjun, sdhzwc, silentxingtian, songwenyong, stoplyy, tinglink, wangbowen1024, whhe, wustlz, xinxingi, xxzuo, yinxiaolog, zero-element, zhongjiajie, zhuxt2015

本文由 白鲸开源科技 提供发布支持!

相关推荐
EasyCVR1 小时前
私有化部署视频平台EasyCVR宇视设备视频平台如何构建视频联网平台及升级视频转码业务?
大数据·网络·音视频·h.265
hummhumm1 小时前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j
科技象限2 小时前
电脑禁用U盘的四种简单方法(电脑怎么阻止u盘使用)
大数据·网络·电脑
天冬忘忧3 小时前
Kafka 生产者全面解析:从基础原理到高级实践
大数据·分布式·kafka
青云交3 小时前
大数据新视界 -- Hive 数据仓库:构建高效数据存储的基石(下)(2/ 30)
大数据·数据仓库·hive·数据安全·数据分区·数据桶·大数据存储
zmd-zk3 小时前
flink学习(2)——wordcount案例
大数据·开发语言·学习·flink
电子手信3 小时前
知识中台在多语言客户中的应用
大数据·人工智能·自然语言处理·数据挖掘·知识图谱
隔着天花板看星星4 小时前
Kafka-Consumer理论知识
大数据·分布式·中间件·kafka
holywangle4 小时前
解决Flink读取kafka主题数据无报错无数据打印的重大发现(问题已解决)
大数据·flink·kafka
隔着天花板看星星4 小时前
Kafka-副本分配策略
大数据·分布式·中间件·kafka