DSIP-91提案解读:简化工作流调试和发布的方案,等你来探讨!

在 Apache DolphinScheduler 社区中,最近有人提出了一个优化提案非常值得大家关注。在 DSIP-91 提案中,这位开发者聚焦于优化当前工作流调试和上线发布流程,解决调试不便、发布步骤繁琐、实例混乱等痛点,提出的优化方案引入"草稿"模式,使工作流可在不上线的状态下进行调试;同时支持调试与生产实例区分、调度任务一键配置等能力。

该提案已在 GitHub 上发布,目前仍在持续完善中,欢迎更多开发者一同参与设计与实现!

动机

目前,Apache DolphinScheduler 开发和调试有一些不方便的地方:

  • 用户需要先上线才能调试,而理想状态下,大家应该可以在不上线的情况下进行调试。

  • 上线流程相对复杂:你需要先启动工作流,再配置调度任务。优化后,调度应在上线时一并配置好。

  • 生产调试和开发调试没有区分,实例容易混淆。优化后,调试阶段的实例应加以区分。

提案设计细节

Web 草稿

兼容性、弃用与迁移计划

目前 DolphinScheduler 存在兼容性问题。我们需要这张表,并需要考虑数据迁移。在 init-job 中需要进行补数处理。

测试计划

  • 旧版本工作流跑存量数据升级验证
  • 功能测试
  • UT 和 E2E 修改测试

👉 阅读详情:github.com/apache/dolp...

本文由 白鲸开源科技 提供发布支持!

相关推荐
武子康8 小时前
大数据-240 离线数仓 - 广告业务 Hive ADS 实战:DataX 将 HDFS 分区表导出到 MySQL
大数据·后端·apache hive
字节跳动数据平台1 天前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康1 天前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
字节跳动数据平台2 天前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术2 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康2 天前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康3 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天3 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
武子康5 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
武子康6 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive