Apache DolphinScheduler 3.4.1 发布,新增任务分发超时检测

Apache DolphinScheduler 社区近日正式发布 3.4.1 版本 。作为 3.4.x 系列的一个维护版本,本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。

新版本不仅引入了 任务分发超时检测机制任务最大运行时间控制能力,还修复了多项调度逻辑、插件功能以及 API 行为中的问题,同时对系统文档、开发流程和工程结构进行了优化。

核心亮点

新增任务分发超时检测机制

在 Master 调度模块中,系统新增了 任务分发超时检查逻辑。当任务被调度到 Worker 执行时,如果出现 Worker Group 不存在或没有可用 Worker 节点的情况,调度器能够在一定时间内检测到分发异常并进行处理,从而避免任务长期处于等待状态,提升系统在资源异常场景下的容错能力(#17795,#17796)。

支持配置工作流与任务实例最大运行时间

新版本支持为 工作流实例(Workflow Instance)和任务实例(Task Instance)配置最大运行时间。用户可以为任务或工作流设置最大执行时长,当任务运行时间超过设定阈值时系统能够触发超时处理,从而避免任务卡死或异常占用资源,提高系统整体运行可控性(#17931,#17932)。

关键修复和优化

调度系统稳定性修复

  • 修复任务超时告警未触发的问题(#17820,#17818)
  • 修复工作流失败策略无法生效的问题(#17834,#17851)
  • 当任务执行上下文初始化失败时自动将任务标记为失败(#17758,#17821)
  • 修复补数任务并行执行模式下并行度计算错误的问题(#17831,#17853)

数据库与兼容性问题修复

  • 修复 PostgreSQL 环境下依赖任务执行 SQL 错误(#17690,#17837)
  • 修复数据库表字段 INT/BIGINT 类型不匹配问题(#17979,#17988)

API 与权限相关修复

  • 查询工作流实例时移除 WAIT_TO_RUN 状态并新增 FAILOVER 状态(#17838,#17839)
  • 为 Workflow API 新增租户校验机制(#17969,#17970)
  • 修复非管理员用户无法删除自己 Access Token 的问题(#17995,#17997)

插件与任务执行问题修复

  • 修复 Java Task 中 JVM 参数位置错误的问题(#17848,#17850)
  • 修复 Procedure Task 参数传递不可用的问题(#17967,#17968)
  • 修复 ProcedureTask 无法返回参数及无法执行查询存储过程的问题(#17971,#17973)
  • 修复 HTTP 插件无法发送 JSON 嵌套结构的问题(#17912,#17911)
  • 修复 HTTP 告警插件中超时单位不一致的问题(#17915,#17920)

UI 与文档问题修复

  • 从 UI 中移除任务实例 STOP 状态(#17864,#17865)
  • 修复工作流定义列表加载失败时锁未释放的问题(#17984,#17989)
  • 修复 Keycloak 登录图标 404 问题(#18006,#18007)
  • 修复安装文档中的描述错误(#17901,#17903)
  • 修复 SeaTunnel 文档链接 404 问题(#17904,#17905)

深度功能解析

在现代数据平台架构中,调度系统通常作为连接不同计算引擎的重要基础设施,例如 Spark、Flink、Hive 等任务往往通过统一的调度系统进行编排。

然而在生产环境中,调度系统经常面临以下问题:

  • Worker 资源异常导致任务无法调度
  • 任务运行时间不可控
  • 插件执行行为不稳定

本次版本新增的 任务分发超时检测机制,使调度器能够在 Worker 不存在或资源不可用时快速识别异常,从而避免任务无限等待的问题(#17795,#17796)。

同时,新增的 最大运行时间控制能力 为任务执行提供了一种更加灵活的管理方式。通过为 Workflow 或 Task 设置最大运行时间,系统可以在任务异常卡死时及时进行处理,从而避免资源长时间被占用(#17931,#17932)。

这两项能力进一步提升了 DolphinScheduler 在 生产级数据平台环境中的稳定性和可控性

致谢贡献者

Apache DolphinScheduler 3.4.1 的发布离不开社区开发者的共同努力。感谢发版经理 @ruanwenjun 以及以下贡献者为本次版本提供代码和改进:

  • SbloodyS
  • njnu-seafish
  • Mrhs121
  • ylq5126
  • qiong-zhou
  • XpengCen
  • iampratap7997-dot
  • yzeng1618
  • Alexander1902
  • maomao199691
  • asadjan4611
  • dill21yu

写在最后

Apache DolphinScheduler 3.4.1 是一个以 调度稳定性提升和任务运行控制能力增强为核心的维护版本。通过新增调度容错机制、支持任务最大运行时间控制以及修复多项关键问题,该版本进一步提升了系统在生产环境中的可靠性。

随着社区持续发展,Apache DolphinScheduler 正不断完善其在数据平台调度领域的能力,为企业构建稳定、高效的数据工作流编排系统提供更加可靠的基础设施支持。欢迎更多人加入到我们的队伍中,共同推进 Apache DolphinScheduler 项目及社区的发展繁荣!

相关推荐
十年Java程序媛22 分钟前
深度实战:JDK21 虚拟线程 + HikariCP 生产正确配比、坑点、监控全套
java·spring boot
Erishen29 分钟前
🚀 用 React Three Fiber 造一个会说话的 3D 数字人:从密钥安全到 Serverless 10 秒极限的踩坑全记录
架构·开源·agent
xiaoqiMikko30 分钟前
有人在搜一个不存在的 Tomcat 版本
java·tomcat
SelectDB3 小时前
为什么 JSON 正在成为分析数据库新的竞争点?
数据库·json·agent
ClouGence4 小时前
开源数据库管理工具 CloudDM 4.2.0 发布,新增 GoldenDB、KingbaseES 等数据源
数据库·dba·devops
用户3126874877204 小时前
ConcurrentHashMap 怎么保证线程安全?从分段锁到 CAS+synchronized
java
发霉的馒头4 小时前
ORA-00845: MEMORY_TARGET not supported on this system的解决方法
数据库
vipxieliang4 小时前
ValidX vs Apache Commons Validator:功能与性能对比
java·spring boot
SimonKing4 小时前
升级Spring Boot 4后,从 Jackson 2 到 3,到底有哪些变化
java·后端·程序员
吃饱了得干活5 小时前
一篇讲清楚Spring Boot:自动装配、启动器、过滤器、拦截器、设计模式
java·spring boot·后端