DSIP-91提案解读:简化工作流调试和发布的方案,等你来探讨!

在 Apache DolphinScheduler 社区中,最近有人提出了一个优化提案非常值得大家关注。在 DSIP-91 提案中,这位开发者聚焦于优化当前工作流调试和上线发布流程,解决调试不便、发布步骤繁琐、实例混乱等痛点,提出的优化方案引入"草稿"模式,使工作流可在不上线的状态下进行调试;同时支持调试与生产实例区分、调度任务一键配置等能力。

该提案已在 GitHub 上发布,目前仍在持续完善中,欢迎更多开发者一同参与设计与实现!

动机

目前,Apache DolphinScheduler 开发和调试有一些不方便的地方:

  • 用户需要先上线才能调试,而理想状态下,大家应该可以在不上线的情况下进行调试。

  • 上线流程相对复杂:你需要先启动工作流,再配置调度任务。优化后,调度应在上线时一并配置好。

  • 生产调试和开发调试没有区分,实例容易混淆。优化后,调试阶段的实例应加以区分。

提案设计细节

Web 草稿

兼容性、弃用与迁移计划

目前 DolphinScheduler 存在兼容性问题。我们需要这张表,并需要考虑数据迁移。在 init-job 中需要进行补数处理。

测试计划

  • 旧版本工作流跑存量数据升级验证
  • 功能测试
  • UT 和 E2E 修改测试

👉 阅读详情:github.com/apache/dolp...

本文由 白鲸开源科技 提供发布支持!

相关推荐
大大大大晴天3 天前
Hudi技术内幕:RecordPayload到RecordMerger
大数据
SelectDB3 天前
秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率
大数据·后端·云原生
WhoAmI3 天前
MapReduce框架原理解析一:InputFormat
大数据·hadoop
WhoAmI3 天前
MapReduce框架原理解析三:OutputFormat
大数据·hadoop
WhoAmI4 天前
MapReduce框架原理解析二:Shuffle
大数据·hadoop
大大大大晴天4 天前
Hudi技术内幕:Key Generation原理与实践
大数据
得物技术8 天前
从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流
大数据·llm·ai编程
久美子8 天前
AI驱动数仓建设的Harness工程实践——本体建模、知识分层与上下文工程
大数据
大树889 天前
金刚石散热越强,管路越先见顶
大数据·运维·服务器·人工智能·ai
大志哥1239 天前
ES和Logstash日志链路系统上线后遭遇切片爆炸(解决)
大数据·elasticsearch