DSIP-91提案解读:简化工作流调试和发布的方案,等你来探讨!

在 Apache DolphinScheduler 社区中,最近有人提出了一个优化提案非常值得大家关注。在 DSIP-91 提案中,这位开发者聚焦于优化当前工作流调试和上线发布流程,解决调试不便、发布步骤繁琐、实例混乱等痛点,提出的优化方案引入"草稿"模式,使工作流可在不上线的状态下进行调试;同时支持调试与生产实例区分、调度任务一键配置等能力。

该提案已在 GitHub 上发布,目前仍在持续完善中,欢迎更多开发者一同参与设计与实现!

动机

目前,Apache DolphinScheduler 开发和调试有一些不方便的地方:

  • 用户需要先上线才能调试,而理想状态下,大家应该可以在不上线的情况下进行调试。

  • 上线流程相对复杂:你需要先启动工作流,再配置调度任务。优化后,调度应在上线时一并配置好。

  • 生产调试和开发调试没有区分,实例容易混淆。优化后,调试阶段的实例应加以区分。

提案设计细节

Web 草稿

兼容性、弃用与迁移计划

目前 DolphinScheduler 存在兼容性问题。我们需要这张表,并需要考虑数据迁移。在 init-job 中需要进行补数处理。

测试计划

  • 旧版本工作流跑存量数据升级验证
  • 功能测试
  • UT 和 E2E 修改测试

👉 阅读详情:github.com/apache/dolp...

本文由 白鲸开源科技 提供发布支持!

相关推荐
isfox1 小时前
Hadoop 1.x 与 2.x 版本对比:架构演进与核心差异解析
大数据
货拉拉技术2 小时前
货拉拉离线大数据跨云迁移-综述篇
大数据·云原生
Lx3524 小时前
Hadoop与实时计算集成:Lambda架构实践经验
大数据·hadoop
武子康7 小时前
大数据-101 Spark Streaming 有状态转换详解:窗口操作与状态跟踪实战 附多案例代码
大数据·后端·spark
expect7g7 小时前
COW、MOR、MOW
大数据·数据库·后端
武子康1 天前
大数据-98 Spark 从 DStream 到 Structured Streaming:Spark 实时计算的演进
大数据·后端·spark
阿里云大数据AI技术1 天前
2025云栖大会·大数据AI参会攻略请查收!
大数据·人工智能
代码匠心1 天前
从零开始学Flink:数据源
java·大数据·后端·flink
Lx3521 天前
复杂MapReduce作业设计:多阶段处理的最佳实践
大数据·hadoop
武子康1 天前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark