DataX 执行引擎正式加入：qData 开源版 v1.6.0 新增 Quartz + DataX 轻量运行模式！

本次qData 数据中台开源版 v1.6.0 新增了两项关键能力：

• 系统内置 Quartz 调度器；
• 数据集成任务支持 DataX 执行引擎。

与此同时，原有的 DolphinScheduler 调度器和 Spark 执行引擎继续保留。

这次升级并不是用 Quartz 和 DataX 替代原有架构，而是将 qData 从固定组件组合调整为可按场景选择的运行方式。

用户可以根据任务依赖关系、数据处理规模、部署环境和项目阶段，选择：

轻量模式：Quartz + DataX

完整模式：DolphinScheduler + Spark

无论采用哪种模式，任务创建、调度配置、运行管理、状态查看和日志定位仍然统一在 qData 中完成。

---

一、为什么需要新增轻量运行模式？

在此前的部署方式中，用户通常需要同时准备 DolphinScheduler、Spark 及其相关运行环境。

这种架构适合复杂工作流、大规模数据处理和企业生产环境，但对于以下场景来说，前期准备相对较多：

• 首次安装和产品体验；
• POC 验证；
• 本地开发和接口联调；
• 功能测试和演示；
• 常规数据库批量同步；
• 中小规模数据处理。

部分用户的初始目标只是快速部署系统，创建一条同步任务，并验证数据能否从来源端写入目标端。

如果在这个阶段就必须搭建完整的调度和分布式计算环境，会增加部署、配置和问题排查成本。

因此，qData v1.6.0 增加了 Quartz 和 DataX，为基础任务提供更轻量的运行路径。

---

二、一套产品，两种运行模式

qData v1.6.0 的主要变化可以概括为：

升级方向	v1.6.0 变化	主要作用
调度器	新增内置 Quartz，保留 DolphinScheduler	基础任务可直接完成周期调度，复杂工作流继续使用 DolphinScheduler
执行引擎	新增 DataX，保留 Spark	常规离线同步可使用更轻量的执行方式
Docker 部署	适配 Quartz 和 DataX	轻量模式下减少必须准备的外部组件
运行策略	完整模式与轻量模式并存	根据项目阶段和任务复杂度选择组件组合

完整模式

完整模式采用：

DolphinScheduler + Spark

适合以下场景：

• 存在多任务前后依赖；
• 需要跨任务工作流编排；
• 存在条件分支、失败分支等控制逻辑；
• 需要统一资源管理；
• 涉及大规模或分布式数据处理；
• 已经建立 DolphinScheduler 和 Spark 运行体系；
• 面向正式生产环境持续建设。

完整模式能力覆盖范围更广，但环境准备、资源配置和日常运维项也更多。

轻量模式

轻量模式采用：

Quartz + DataX

主要适用于：

• 首次体验 qData；
• 产品选型和 POC；
• 本地开发与联调；
• 功能测试和演示环境；
• 常规数据库批量同步；
• 中小规模数据处理；
• 暂时不需要复杂工作流的项目。

轻量模式并不是独立于 qData 的另一套工具。

用户仍然在 qData 中创建任务、配置组件、设置周期、启动运行并查看日志，变化主要发生在底层调度器和执行引擎。

---

三、新增系统内置 Quartz 调度器

在任务运行过程中，调度器主要负责两个问题：

任务什么时候运行？
任务以什么周期触发？

此前，这部分能力主要由 DolphinScheduler 提供。

qData v1.6.0 新增系统内置 Quartz 调度器后，单任务定时运行、周期采集和常规同步等场景，可以不再强制依赖 DolphinScheduler。

创建任务时，用户可以选择：

• Quartz；
• DolphinScheduler。

选择 Quartz 后，可以继续配置：

• 调度周期；
• 任务状态；
• 责任人；
• 任务优先级；
• 失败重试次数；
• 重试间隔；
• 延迟执行时间。

Quartz 可以用于哪些任务？

1. 数据集成任务

数据集成任务可以选择 Quartz 调度，并根据具体同步场景搭配 DataX 执行引擎。

典型组合为：

Quartz 负责周期触发
DataX 负责数据读写

2. 数据开发任务

数据开发任务可以通过 Quartz 配置周期运行，同时继续使用原有的脚本编辑、任务属性、运行状态和日志查看能力。

3. 元数据采集任务

元数据采集任务可以使用 Quartz 配置周期采集计划，并继续维护来源系统、数据连接和采集范围等信息。

4. 任务运行管理

在任务列表中，可以统一查看：

• 当前调度方式；
• 任务状态；
• 最近执行结果；
• 责任人；
• 相关操作入口。

---

四、Quartz 和 DolphinScheduler 的边界

Quartz 主要解决的是基础定时和单任务触发问题，并不等同于完整的工作流调度平台。

当项目存在以下需求时，应优先评估 DolphinScheduler：

• 多任务依赖；
• 跨任务工作流；
• 条件分支和失败分支；
• 多节点统一编排；
• 复杂运行控制；
• 需要延续已有 DolphinScheduler 体系。

两者的关系可以简单理解为：

Quartz：适合基础调度和单任务周期运行

DolphinScheduler：适合复杂工作流和任务依赖编排

因此，Quartz 与 DolphinScheduler 不是简单的替代关系，而是分别对应不同复杂度的任务场景。

---

五、新增 DataX 数据集成执行引擎

如果说调度器决定任务何时运行，那么执行引擎决定的是：

数据任务以什么方式执行？

qData v1.6.0 在数据集成任务中新增 DataX 执行引擎，同时继续保留 Spark。

对于符合 DataX 插件能力范围的常规批量同步任务，用户可以选择 DataX，不再强制依赖 Spark 环境。

---

六、DataX 适合哪些数据同步场景？

在关系型数据库、数据仓库等离线同步场景中，很多任务的核心流程是：

读取来源数据
    ↓
进行字段处理或简单转换
    ↓
写入目标数据源

这类任务不一定需要使用分布式计算框架。

例如，以下场景可以优先评估 DataX：

• MySQL 到 MySQL 的批量同步；
• 关系型数据库到数据仓库；
• 数据仓库之间的数据迁移；
• 周期性全量或增量数据同步；
• 数据规模相对可控的离线采集任务。

用户可以先通过 DataX 验证真实数据链路，再根据任务规模、执行时长和生产要求，判断是否需要使用 Spark。

---

七、选择 DataX 前需要确认什么？

DataX 是否可用，不能只根据数据量判断，还需要综合评估以下条件：

• 来源端是否存在对应 Reader 插件；
• 目标端是否存在对应 Writer 插件；
• 来源和目标字段类型是否兼容；
• 当前读写方式是否满足任务要求；
• 是否涉及 DataX 不适合处理的复杂计算逻辑；
• 数据库账号、网络和权限是否满足要求；
• 当前版本是否已完成对应数据源的适配和验证。

可以将执行引擎选择逻辑简化为：

常规数据搬运、字段映射、离线同步
    → 优先评估 DataX

复杂计算、大规模分布式处理
    → 优先评估 Spark

DataX 更偏向数据交换，Spark 更偏向分布式计算，两者的能力定位并不完全相同。

---

八、可视化任务构建方式保持不变

新增 DataX 后，用户不需要离开 qData 单独编写和维护另一套 DataX 配置文件。

数据集成任务仍然可以通过可视化画布完成。

一条典型的数据同步流程可以表示为：

表输入
  ↓
数据转换
  ↓
表输出

例如，用户可以：

1. 使用表输入组件读取来源数据；
2. 使用去重、字段处理等转换组件进行简单加工；
3. 使用表输出组件将数据写入目标端。

配置完成后，仍然按照统一流程操作：

任务检查
  → 保存任务
  → 设置调度
  → 启动运行
  → 查看状态
  → 定位日志
  → 验证目标数据

本次升级只是增加了底层执行引擎选项，并未改变主要的任务建设和运行管理方式。

---

九、一条 DataX 任务如何完成闭环？

1. 创建任务

填写任务名称、任务类目、责任人等基础信息。

2. 选择运行方式

执行引擎选择 DataX。

调度器可以根据场景选择 Quartz 或 DolphinScheduler。对于基础周期同步，通常可以选择 Quartz。

3. 配置任务流程

在数据集成画布中添加输入、转换和输出组件，并建立节点连接关系。

4. 配置数据源

分别选择来源端和目标端数据连接，并确认：

• 网络是否可达；
• 数据库账号是否有效；
• 是否具备读写权限；
• 数据库和表结构是否符合预期。

5. 配置字段映射

检查来源字段和目标字段之间的对应关系，包括：

• 字段名称；
• 字段类型；
• 是否允许为空；
• 主键或唯一标识；
• 日期、数值等类型转换。

6. 检查并保存

检查流程连接、组件参数、字段映射和数据源配置是否完整。

7. 启动任务

可以手动启动，也可以等待 Quartz 按照配置周期触发。

8. 查看运行状态和日志

通过任务列表和日志页面查看：

• 是否启动成功；
• 任务执行时长；
• 读取数据量；
• 写入数据量；
• 脏数据或异常记录；
• 失败原因。

9. 验证同步结果

在目标端检查：

• 数据总量；
• 关键字段；
• 空值和异常值；
• 重复数据；
• 时间字段；
• 增量边界。

只有完成目标端数据验证，才能认为同步链路真正跑通。

---

十、任务入口保持统一

轻量模式调整的是底层组件，并不会将任务管理拆分成多套系统。

用户仍然可以在 qData 中统一管理数据集成、数据开发和元数据采集任务。

数据集成任务

任务列表可以集中展示：

• 任务名称；
• 调度周期；
• 调度器类型；
• 运行状态；
• 最近执行结果；
• 责任人；
• 操作入口。

轻量模式下，可以通过 Quartz + DataX 建立常规批量同步任务，并在同一入口完成启停和运行跟踪。

数据开发任务

数据开发任务继续保留：

• 任务基础信息；
• 执行引擎配置；
• 调度周期；
• 任务脚本；
• 属性参数；
• 执行日志。

对于不需要跨任务复杂依赖的开发任务，可以使用 Quartz 完成周期触发。

元数据采集任务

元数据采集任务可以继续配置：

• 来源系统；
• 数据连接；
• 数据库类型；
• 网络和账号信息；
• 采集范围；
• 调度周期。

在轻量模式下，可通过 Quartz 周期性触发采集任务，用于验证从数据源连接、元数据采集到后续治理入口的基础链路。

对外发布系统截图时，应对账号、IP 地址、连接信息、任务名称和责任人等内容进行脱敏处理。

---

十一、完整模式和轻量模式如何选择？

两种模式没有绝对优劣，主要区别在于适用阶段和能力边界。

对比维度	完整模式	轻量模式
组件组合	DolphinScheduler + Spark	Quartz + DataX
核心定位	复杂编排和大规模处理	快速部署和常规批量同步
调度能力	支持复杂任务依赖和工作流	支持周期触发和基础运行管理
执行能力	适合分布式计算和复杂处理	适合插件范围内的数据同步
部署依赖	外部组件和运维项较多	轻量场景下依赖更少
适用阶段	企业生产、复杂项目	首次体验、POC、开发测试
选择前提	明确需要工作流和 Spark 能力	任务适配 DataX，且无复杂依赖
后续演进	在现有架构上持续扩展	验证后再评估是否切换完整模式

---

十二、模式选择前先确认四个问题

1. 是否存在复杂任务依赖？

如果存在跨任务前后置关系、条件分支、失败分支或复杂工作流，应优先考虑 DolphinScheduler。

2. 是否明确需要 Spark？

如果任务依赖分布式处理、大规模计算或 Spark 生态能力，应继续使用完整模式。

3. 数据源是否适配 DataX？

需要确认来源端、目标端、字段类型和同步方式是否在当前 DataX 插件能力范围内。

4. 当前目标是验证还是生产？

如果当前主要目标是首次体验、POC 或功能测试，可以从轻量模式开始。

如果准备进入正式生产，还需要评估：

• 稳定性；
• 容量和性能；
• 任务监控；
• 权限控制；
• 告警机制；
• 数据补偿；
• 故障恢复；
• 版本升级；
• 回退方案。

---

十三、哪些场景适合轻量模式？

以下场景可以优先选择 Quartz + DataX：

• 希望快速完成 qData 部署和功能体验；
• 开展产品选型或 POC；
• 需要跑通真实数据库同步链路；
• 本地开发、接口联调和功能测试；
• 建设培训、演示或临时验证环境；
• 以周期性批量同步为主；
• 数据规模相对可控；
• 暂时没有复杂任务依赖；
• 当前服务器资源有限。

轻量模式的核心价值不是覆盖所有场景，而是减少验证阶段不必要的组件准备。

---

十四、哪些场景应继续使用完整模式？

以下情况更适合 DolphinScheduler + Spark：

• 存在复杂任务依赖；
• 需要跨任务工作流；
• 需要分支控制和统一编排；
• 涉及大规模数据处理；
• 依赖分布式计算；
• 明确需要 Spark 相关能力；
• 已有 DolphinScheduler 和 Spark 生产体系；
• 对调度治理、容量规划和运行保障要求较高。

完整模式更适合复杂项目和持续运行的生产环境。

---

十五、轻量模式主要解决了什么问题？

1. 缩短部署到验证的链路

对于首次体验和 POC，用户不需要先搭建完整的调度和 Spark 运行环境，即可验证基础任务链路。

2. 减少非必要外部依赖

基础调度可以由系统内置 Quartz 完成，常规同步可以使用 DataX，从而减少当前阶段不需要的组件。

3. 保留统一的产品入口

轻量模式没有拆分任务系统，用户仍然通过 qData 完成配置、运行和日志查看。

4. 降低问题定位范围

在开发和测试阶段，组件数量更少，排查网络、配置、调度和执行问题时，定位范围相对集中。

5. 提供渐进式演进路径

用户可以先使用轻量模式完成验证，再根据任务依赖、数据规模和生产要求切换完整模式。

6. 便于社区复现和协作

更集中的部署方式有利于：

• 开发者快速搭建测试环境；
• 复现运行问题；
• 提交 Issue；
• 验证数据源适配；
• 完善部署文档；
• 分享插件和字段类型兼容经验。

---

总结

qData 数据中台开源版 v1.6.0 的主要变化，不是简单减少组件，而是增加了运行模式的可选择性。

用户现在可以根据实际场景选择：

Quartz + DataX
适合快速部署、POC、开发测试和常规数据同步

DolphinScheduler + Spark
适合复杂工作流、大规模处理和企业生产环境

两种模式继续共享 qData 的任务创建、运行管理、状态查看和日志定位入口。

对于首次体验和常规批量同步，轻量模式减少了前期必须准备的外部组件，缩短了从部署到验证的路径。

对于复杂任务编排和分布式数据处理，原有完整模式继续保留。

在实际选型时，不能只根据"轻量"或"完整"进行判断，而应综合考虑：

• 是否存在复杂任务依赖；
• 是否需要 Spark 分布式处理能力；
• 数据源是否适配 DataX；
• 当前处于验证阶段还是生产阶段；
• 现有基础设施和运维体系；
• 后续任务规模和复杂度。

从固定组件组合转向按需选择运行模式，使 qData 能够覆盖从快速验证到复杂项目建设的不同阶段。