Apache DolphinScheduler 3.4.1 发布,新增任务分发超时检测

Apache DolphinScheduler 社区近日正式发布 3.4.1 版本 。作为 3.4.x 系列的一个维护版本,本次更新重点围绕 调度稳定性提升、任务运行控制能力增强以及系统问题修复展开。

新版本不仅引入了 任务分发超时检测机制 和 任务最大运行时间控制能力,还修复了多项调度逻辑、插件功能以及 API 行为中的问题,同时对系统文档、开发流程和工程结构进行了优化。

核心亮点

新增任务分发超时检测机制

在 Master 调度模块中,系统新增了 任务分发超时检查逻辑。当任务被调度到 Worker 执行时,如果出现 Worker Group 不存在或没有可用 Worker 节点的情况,调度器能够在一定时间内检测到分发异常并进行处理,从而避免任务长期处于等待状态,提升系统在资源异常场景下的容错能力(#17795,#17796)。

支持配置工作流与任务实例最大运行时间

新版本支持为 工作流实例(Workflow Instance)和任务实例(Task Instance)配置最大运行时间。用户可以为任务或工作流设置最大执行时长,当任务运行时间超过设定阈值时系统能够触发超时处理,从而避免任务卡死或异常占用资源,提高系统整体运行可控性(#17931,#17932)。

关键修复和优化

调度系统稳定性修复

  • 修复任务超时告警未触发的问题(#17820,#17818)
  • 修复工作流失败策略无法生效的问题(#17834,#17851)
  • 当任务执行上下文初始化失败时自动将任务标记为失败(#17758,#17821)
  • 修复补数任务并行执行模式下并行度计算错误的问题(#17831,#17853)

数据库与兼容性问题修复

  • 修复 PostgreSQL 环境下依赖任务执行 SQL 错误(#17690,#17837)
  • 修复数据库表字段 INT/BIGINT 类型不匹配问题(#17979,#17988)

API 与权限相关修复

  • 查询工作流实例时移除 WAIT_TO_RUN 状态并新增 FAILOVER 状态(#17838,#17839)
  • 为 Workflow API 新增租户校验机制(#17969,#17970)
  • 修复非管理员用户无法删除自己 Access Token 的问题(#17995,#17997)

插件与任务执行问题修复

  • 修复 Java Task 中 JVM 参数位置错误的问题(#17848,#17850)
  • 修复 Procedure Task 参数传递不可用的问题(#17967,#17968)
  • 修复 ProcedureTask 无法返回参数及无法执行查询存储过程的问题(#17971,#17973)
  • 修复 HTTP 插件无法发送 JSON 嵌套结构的问题(#17912,#17911)
  • 修复 HTTP 告警插件中超时单位不一致的问题(#17915,#17920)

UI 与文档问题修复

  • 从 UI 中移除任务实例 STOP 状态(#17864,#17865)
  • 修复工作流定义列表加载失败时锁未释放的问题(#17984,#17989)
  • 修复 Keycloak 登录图标 404 问题(#18006,#18007)
  • 修复安装文档中的描述错误(#17901,#17903)
  • 修复 SeaTunnel 文档链接 404 问题(#17904,#17905)

深度功能解析

在现代数据平台架构中,调度系统通常作为连接不同计算引擎的重要基础设施,例如 Spark、Flink、Hive 等任务往往通过统一的调度系统进行编排。

然而在生产环境中,调度系统经常面临以下问题:

  • Worker 资源异常导致任务无法调度
  • 任务运行时间不可控
  • 插件执行行为不稳定

本次版本新增的 任务分发超时检测机制,使调度器能够在 Worker 不存在或资源不可用时快速识别异常,从而避免任务无限等待的问题(#17795,#17796)。

同时,新增的 最大运行时间控制能力 为任务执行提供了一种更加灵活的管理方式。通过为 Workflow 或 Task 设置最大运行时间,系统可以在任务异常卡死时及时进行处理,从而避免资源长时间被占用(#17931,#17932)。

这两项能力进一步提升了 DolphinScheduler 在 生产级数据平台环境中的稳定性和可控性。

致谢贡献者

Apache DolphinScheduler 3.4.1 的发布离不开社区开发者的共同努力。感谢发版经理 @ruanwenjun 以及以下贡献者为本次版本提供代码和改进:

  • SbloodyS
  • njnu-seafish
  • Mrhs121
  • ylq5126
  • qiong-zhou
  • XpengCen
  • iampratap7997-dot
  • yzeng1618
  • Alexander1902
  • maomao199691
  • asadjan4611
  • dill21yu

写在最后

Apache DolphinScheduler 3.4.1 是一个以 调度稳定性提升和任务运行控制能力增强为核心的维护版本。通过新增调度容错机制、支持任务最大运行时间控制以及修复多项关键问题,该版本进一步提升了系统在生产环境中的可靠性。

随着社区持续发展,Apache DolphinScheduler 正不断完善其在数据平台调度领域的能力,为企业构建稳定、高效的数据工作流编排系统提供更加可靠的基础设施支持。欢迎更多人加入到我们的队伍中,共同推进 Apache DolphinScheduler 项目及社区的发展繁荣!

相关推荐
weixin_460443566 小时前
2026年新修订《网络安全法》实施:Java私有化考试系统如何做好SBOM、漏洞治理与安全升级?
java·开发语言·在线考试系统·企业培训考试系统·宏远培训考试系统·国企培训考试系统·国产化培训系统
海鸥-w9 小时前
什么是AOP
java
仍然.10 小时前
Redis---缓存
数据库·redis·缓存
Cc.Y10 小时前
Java零基础入门:可变字符串与包装类:StringBuilder、StringBuffer 与 通讯录管理系统实战
java·开发语言·python
Aloudata10 小时前
LookML 语义模型 vs 企业级独立语义层:BI 建模语言能否承担企业语义底座?
数据库·人工智能·数据分析·数据资产·dataagent
十六年开源服务商10 小时前
2026外贸WordPress网络推广与品牌曝光实战指南
开源
paopaokaka_luck10 小时前
基于springboot+vue的智慧家政管理系统(AI问答、 WebSocket实时沟通、ECharts运营分析、订单规则与服务追踪)
java·javascript·spring boot·数据分析·echarts·mybatis
细嗅蔷薇@10 小时前
排序和分⻚(order by 、limit)
数据库·oracle
sm_9267870510 小时前
RFID 标签打印的技术实现要点与二次开发实践
java·大数据·前端·c++·编辑器
阿森_dev10 小时前
2027 届毕设选题怎么选:30 个 Java 方向选题的实现难度排序
java·开发语言·spring boot·毕业设计·课程设计