任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完

任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完

定时执行,回答「什么时候跑」;

任务编排,回答「一次触发内部,谁先谁后」;

任务依赖,回答「上游没有成功,下游能不能跑」。

三种模式不是互相替代,而是三种不同层次的确定性。


早上九点,日报没有更新。

值班同学打开任务列表,发现每个任务都是绿色的:

  • 订单同步,成功;
  • 商品同步,成功;
  • 清洗 SQL,成功;
  • 销售汇总,成功;
  • 报表刷新,成功。

但业务看到的数字,还是前一天的。

继续往下查,问题不在某一个任务,而在任务之间的顺序:

订单同步跑完了,商品维度还没更新;清洗 SQL 先跑了,汇总 SQL 又提前启动;某个任务失败了,下游却照常执行。

单看每个任务,都是成功的。合在一起,整条链路却是断的。

这就是「任务能跑」和「流程能跑」的区别。

DataY 把任务调度拆成三种模式,分别解决三个不同的问题:

模式 回答的问题 典型入口
定时执行 什么时候开始跑? Cron、上线 / 下线
任务编排 一次触发内部,谁先谁后? DAG 任务编排画布
任务依赖 上游没有成功,下游能不能跑? 上线时配置上游依赖任务

下面分别讲清楚。


01 定时执行:把时间交给 Cron

定时执行是最容易被理解的一种调度。

你告诉平台一个 Cron 表达式,平台在指定时间触发任务。

例如每天凌晨 2 点执行:

text 复制代码
0 0 2 * * ?

在 DataY 里,任务创建后默认是离线状态。点击「上线」后,任务才会加入 Quartz 调度。

上线时还可以一起设置:

  • 调度周期:Cron 表达式;
  • 重试次数:失败或超时后自动重试,最多 10 次;
  • 超时时间:单次尝试的最长执行时间,0 表示不限制;
  • 优先级:高 / 中 / 低,影响排队顺序,不抢占正在执行的任务。

任务上线后,系统会把它注册到 Quartz;下线时再从调度中移除。

定时执行解决的是「时间确定性」。

它适合:

  • 每天固定时间同步数据;
  • 每小时刷新一次指标;
  • 每 10 分钟采集一次接口数据;
  • 每天凌晨生成报表。

但它有一个天然的限制:

Cron 只知道「几点开始」,不知道「上一个任务有没有跑完」。

如果所有任务都写成:

text 复制代码
02:00  同步订单
02:10  同步商品
02:20  清洗订单
02:30  生成汇总

那么这些时间点,本质上都是人估算出来的。

上游跑 3 分钟,下游等了 10 分钟;上游跑了 30 分钟,下游照样提前启动。

任务一多,时间表就会变成一张靠猜维护的排班表。

这就是为什么还需要任务编排。


02 任务编排:把一次触发内部的顺序画出来

DataY 的任务编排,是一个专门的 DAG 任务。

它不是一种新的 ETL,也不是一段新的 SQL,而是已有任务之间的关系层:

  • 节点:引用已经创建好的 ETL、SQL、Shell 等任务;
  • 连线:表达谁先执行、谁后执行;
  • 布局:记录节点在画布上的位置,方便下次继续编辑。

也就是说,任务只有一份定义,编排只是引用它。

修改 SQL,只需要改原来的 SQL 任务;调整 ETL 字段映射,也只需要改 ETL 本身。所有引用它的编排,下次运行时自动使用最新配置。

一条典型的数据流水线可以画成这样:

text 复制代码
ODS 同步
   │
   ▼
DWD 清洗
   │
   ▼
DWS 汇总
   │
   ▼
ADS 报表

编排任务被触发后,平台会对节点做拓扑排序:

  1. 根据连线计算每个节点的入度;
  2. 入度为 0 的节点先执行;
  3. 每执行完一个节点,后继节点入度减一;
  4. 入度减到 0 的节点进入执行队列。

这样保证的是:

父任务一定在子任务之前执行。

如果某个节点失败,后面的节点会被标记为中断,不会出现「一半成功、一半悬空」的实例。

任务编排还支持嵌套:一个编排可以引用另一个编排。为了避免无限套娃,DataY 限制最大嵌套深度为 10 层,并会在保存时检查循环嵌套。

任务编排解决的是「顺序确定性」。

它适合:

  • 一条完整的数据流水线;
  • 多个任务必须按固定先后顺序执行;
  • 希望一次触发、按图跑完整条链路;
  • 希望失败时下游自动停止,而不是继续产生错误数据。

注意区分两种 DAG:

DAG 类型 节点是什么 描述什么
ETL 画布里的 DAG 组件(输入、SQL、输出) 数据怎么流
任务编排里的 DAG 任务(ETL、SQL、Shell) 任务什么时候跑

前者描述数据流,后者描述任务流。


03 任务依赖:让上游成功成为下游的启动条件

任务编排解决的是「一次触发内部」的顺序。

但真实工作中,还有很多跨任务、跨类型、跨团队的依赖:

  • ETL 任务每天同步订单,SQL 任务要等它成功后再跑;
  • 商品维度任务由另一个团队维护,报表任务只关心它有没有成功;
  • 两个上游都成功,下游汇总任务才能开始;
  • 上游今天没跑,下游不应该拿昨天的数据继续算。

这些关系不适合画进同一个 DAG,因为它们可能属于不同的编排、不同的目录,甚至不同的团队。

DataY 用「任务依赖」来解决这一类问题。

任务依赖配置在任务上线弹窗里:

  • 可以添加多个上游任务;
  • 每个上游任务可以单独设置有效时间窗口;
  • 上游任务不要求必须在线,但离线的上游无法产生新的成功实例;
  • 下线任务不会删除依赖,重新上线时仍然保留。

配置完成后,调度触发下游任务时会做一次检查:

  1. 找到每个上游任务最近一次成功实例;
  2. 判断这个成功实例的时间,是否在有效窗口内;
  3. 所有上游都满足,才允许执行;
  4. 任意一个不满足,当前实例进入 WAITING 状态。

等待中的实例不会被丢弃。

后台的 WaitingJobQuartzTask 会每 20 秒扫描一次等待队列,重新检查依赖。依赖满足后,实例自动恢复执行。

多个上游任务之间是「全部满足」的关系:

text 复制代码
上游 A 成功 ─┐
             ├──▶ 下游任务执行
上游 B 成功 ─┘

只要有一个上游没有成功,下游就继续等待。

任务依赖还做了几项保护:

  • 不能依赖自己;
  • 同一批依赖不能重复;
  • 上游任务必须存在;
  • 不能形成循环依赖;
  • 有效窗口必须大于 0。

其中「有效窗口」是最容易踩坑的地方。

它的含义不是「上游必须在几点前跑完」,而是:

上游最近一次成功实例,距离当前实例触发时间,不能超过这个窗口。

例如窗口设置为 60 分钟:

  • 上游 10 分钟前成功,下游可以执行;
  • 上游 2 小时前成功,下游继续等待。

如果窗口设置为 0,那么几乎任何时间差都会超过窗口,下游就会一直停在等待中。

所以在界面上,窗口使用「分钟」输入,默认 24 小时,提交时再转换成毫秒存储。

任务依赖解决的是「结果确定性」。

它适合:

  • 跨任务、跨类型的轻量串联;
  • 上游由其他团队或其他编排维护;
  • 只关心「上游最近有没有成功」,不关心它具体几点跑;
  • 多个任务必须全部成功,下游才能开始。

04 三种模式怎么组合?

三种模式不是三选一,而是可以组合使用。

一个常见的组合是:

text 复制代码
Cron 定时触发
      │
      ▼
任务编排 DAG
  ├─ ODS 同步
  ├─ DWD 清洗
  ├─ DWS 汇总
  └─ ADS 报表
      │
      ▼
任务依赖:等另一个团队的维度任务成功

可以这样理解:

  • Cron 决定整条链路什么时候开始;
  • DAG 决定这次触发内部谁先谁后;
  • JobDepend 决定跨任务的上游是否已经准备好。

对应到使用建议:

场景 推荐模式
每天固定时间跑一个独立任务 定时执行
多个任务必须按固定顺序跑 任务编排
一条完整数据流水线 Cron + 任务编排
跨团队、跨类型、跨编排的上游依赖 任务依赖
多个上游全部成功才能跑 任务依赖
上游失败下游不能继续 任务编排或任务依赖

05 三个常见误区

误区一:用 Cron 时间点代替依赖关系

把所有任务排成 02:00、02:10、02:20,看起来很有秩序,实际上是在赌上游一定能在 10 分钟内跑完。

一旦上游变慢,后面全部失控。

更好的做法是:

  • 一次触发内部的顺序,用任务编排表达;
  • 跨任务的上游成功条件,用任务依赖表达;
  • Cron 只负责「什么时候开始」。

误区二:把任务编排和任务依赖混为一谈

任务编排描述的是「一次触发内部」的 DAG。

任务依赖描述的是「任务与任务之间」的父子关系。

前者解决顺序,后者解决条件。

两者可以组合,但不应该互相替代。


06 最后

任务调度真正难的,从来不是「怎么让一个任务跑起来」。

难的是:

  • 它应该在什么时候跑;
  • 它应该等谁跑完;
  • 上游失败了它还要不要跑;
  • 跑完之后,结果能不能解释。

DataY 用三种模式分别回答这三个问题:

  • 定时执行:把时间交给 Cron;
  • 任务编排:把一次触发内部的顺序画出来;
  • 任务依赖:让上游成功成为下游的启动条件。

三者组合起来,才是一条可解释、可复现、可追踪的数据流水线。


07 关于 DataY

DataY 是一个轻量级、流批一体的数据平台。

它的出发点很简单:数据平台不一定非要十几种组件、十几台机器才能跑起来。很多中小团队真正需要的,是一套能快速落地、运维简单、后续还能扩展的平台。

DataY 的目标是:

一个 JAR,2 核 4G,跑通从数据接入、数仓建模到任务调度和智能问数的完整链路。

可以把它理解成:

DataY = DataX + Nifi + DolphinScheduler

但它不是几个开源工具的拼盘,而是把这几类能力重新设计成了一套统一运行时。

核心能力

  • 数据集成:支持 MySQL、PostgreSQL、Oracle、SQL Server、达梦、Doris、ClickHouse、DuckDB 等二十余种数据源,支持全量 / 增量同步与多种 CDC 实时同步,自动建表、字段变更同步;
  • 任务调度:Cron 定时、DAG 编排、任务依赖、失败重试、超时控制、优先级、实例监控,支持 master / worker 分离部署;
  • 维度建模:星型 / 雪花模型、普通维度 / 层级维度 / 时间维度,为指标和智能问数提供统一业务语义;
  • 高性能数仓:内嵌 DuckDB,单机即可获得列存与向量化查询性能,也可以外挂 Doris、ClickHouse、DuckLake;
  • 数据地图:汇总数据源、表、ETL 任务、模型、指标、看板、API 等资产,查看全链路上下游关系;
  • 智能问数:自然语言 → 指标 → 维度 → 时间过滤 → 取数,一句话拿到报表;
  • MCP Harness:让 Claude Desktop、Cursor 等 AI Agent 直接操作数据源、ETL 任务、数据模型和指标。

部署方式

DataY 支持两种典型部署形态:

  • 单机模式:调度与执行合一,一个 JAR 启动,适合开发、测试和中小规模生产;
  • master / worker 分离:master 负责调度,worker 负责执行,可以水平扩展,适合任务量更大或需要隔离的场景。

快速体验

在线演示:

text 复制代码
http://datay-demo.yuyuejia.com.cn/

下载运行:

bash 复制代码
wget https://datay.yuyuejia.com.cn/download/datay-web.jar -O datay-web.jar
java -jar datay-web.jar --DATAY_AI_API_KEY=sk-xxxxxxxxx

浏览器打开 http://localhost:8080,默认账号 admin/admin。

项目地址

DataY 适合这些场景:

  • 想快速搭建一套数据集成 + 数仓 + 调度平台的团队;
  • 不希望为了几十个任务维护十几个组件的团队;
  • 需要在开发机或低配服务器上跑通完整数据链路的团队;
  • 希望后续能平滑扩展到 master / worker 集群的场景。

如果这篇文章对你有帮助,欢迎转发给正在被任务顺序折磨的同事,也欢迎给 DataY 点一个 Star。

相关推荐
宽海智能仓储物流5 小时前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
上海潭龙东海科技有限公司4 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
Francek Chen12 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
全栈陈序员15 天前
【Git】从入门到精通(二)—— Git安装与初次配置
数据仓库·git
程序员梅雨15 天前
【从零开始学习数据仓库 | 第三篇】: Flume——数据采集基石
java·大数据·数据仓库·后端·学习·flume
注塑机数据采集联网17 天前
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
roman_日积跬步-终至千里17 天前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
程序员梅雨18 天前
【从零开始学习数据仓库 | 第二篇】: 拉链表 & 数仓分层
大数据·数据仓库·学习
roman_日积跬步-终至千里18 天前
数仓开发的三层责任:业务定义、模型设计与 SQL 实现
数据库·数据仓库·sql·数据建模