DSIP-91提案解读:简化工作流调试和发布的方案,等你来探讨!

在 Apache DolphinScheduler 社区中,最近有人提出了一个优化提案非常值得大家关注。在 DSIP-91 提案中,这位开发者聚焦于优化当前工作流调试和上线发布流程,解决调试不便、发布步骤繁琐、实例混乱等痛点,提出的优化方案引入"草稿"模式,使工作流可在不上线的状态下进行调试;同时支持调试与生产实例区分、调度任务一键配置等能力。

该提案已在 GitHub 上发布,目前仍在持续完善中,欢迎更多开发者一同参与设计与实现!

动机

目前,Apache DolphinScheduler 开发和调试有一些不方便的地方:

  • 用户需要先上线才能调试,而理想状态下,大家应该可以在不上线的情况下进行调试。

  • 上线流程相对复杂:你需要先启动工作流,再配置调度任务。优化后,调度应在上线时一并配置好。

  • 生产调试和开发调试没有区分,实例容易混淆。优化后,调试阶段的实例应加以区分。

提案设计细节

Web 草稿

兼容性、弃用与迁移计划

目前 DolphinScheduler 存在兼容性问题。我们需要这张表,并需要考虑数据迁移。在 init-job 中需要进行补数处理。

测试计划

  • 旧版本工作流跑存量数据升级验证
  • 功能测试
  • UT 和 E2E 修改测试

👉 阅读详情:github.com/apache/dolp...

本文由 白鲸开源科技 提供发布支持!

相关推荐
isfox36 分钟前
Hadoop 版本进化论:从 1.0 到 2.0,架构革命全解析
大数据·后端
星环科技TDH社区版3 小时前
星环科技产品可存储的表格式功能介绍以及创建示例
大数据·数据库
百度Geek说3 小时前
百度垂搜数据管理系统弹性调度优化实践
大数据·搜索引擎
C++ 老炮儿的技术栈8 小时前
VSCode -配置为中文界面
大数据·c语言·c++·ide·vscode·算法·编辑器
白鲸开源8 小时前
SQL Server CDC 机制全解:如何用 SeaTunnel 构建高效实时数据同步方案
大数据
小巫程序Demo日记9 小时前
Spark简介脑图
大数据·笔记·spark
武子康9 小时前
大数据-14-Hive HQL 表连接查询 HDFS导入导出 逻辑运算 函数查询 全表查询
大数据·后端·apache hive
春马与夏9 小时前
Spark on yarn的作业提交流程
大数据·分布式·spark
XiaoQiong.Zhang9 小时前
Spark 性能调优七步法
大数据·分布式·spark