qData 数据中台开源版从 MySQL 到 Doris完成一次数据同步

在评估数据中台或数据集成工具时，与其先研究复杂架构，不如直接选择一条真实数据链路进行验证。

本文以 MySQL 作为源端、Apache Doris 作为目标端，通过 qData 数据中台开源版搭建一条基础同步任务，完整演示数据连接、任务编排、字段映射、任务执行和结果校验过程。

整体流程如下：

配置数据连接 → 创建集成任务 → 读取 MySQL 数据 → 数据转换 → 写入 Doris → 查询验证

---

1. 配置 MySQL 和 Doris 数据连接

创建同步任务前，需要先在 qData 中分别配置 MySQL 和 Doris 数据源。

常见连接参数包括：

• 数据库地址；
• 端口；
• 数据库名称；
• 用户名；
• 密码。

配置完成后，先执行连接测试，确认 qData数据中台能够正常访问源库和目标库。

将数据库连接统一维护在平台中有两个好处：

1. 多条同步任务可以复用同一个数据连接；
2. 数据库参数发生变化时，不需要逐条修改任务配置。

连接测试通过后，再进入数据集成模块创建任务。

---

2. 使用可视化组件编排同步流程

在数据集成模块中新建任务，通过画布配置数据处理链路。

一条基础同步任务通常包含以下组件：

表输入 → 数据转换（可选）→ 表输出

各组件的职责如下：

• 表输入组件：从 MySQL 读取源数据；
• 数据转换组件：完成字段处理、值转换、去重等操作；
• 表输出组件：将处理结果写入 Doris。

对于首次验证，建议先使用"表输入 + 表输出"的最简流程，确认读取和写入链路正常后，再逐步增加转换逻辑。

这种方式比一开始叠加大量处理规则更容易排查问题。

---

3. 配置 MySQL 表输入

在表输入组件中，需要选择：

• MySQL 数据连接；
• 源数据库；
• 源数据表；
• 需要读取的字段；
• 查询条件。

同步时不一定需要读取整张表。

例如，可以通过时间字段限制数据范围：

create_time >= '2026-07-01 00:00:00'

也可以根据业务状态筛选数据：

status = 1

对于测试任务，建议先选择少量数据，避免因为数据量过大增加排查难度。

同时，只读取目标表需要的字段，可以减少无关数据传输，也有利于后续字段映射。

---

4. 按需增加数据转换

如果 MySQL 源表和 Doris 目标表结构基本一致，可以直接将输入组件连接到输出组件。

如果字段结构或业务含义存在差异，可以在中间增加转换组件。

常见处理包括：

• 修改字段名称；
• 调整字段类型；
• 新增计算字段；
• 添加固定来源标识；
• 删除重复数据；
• 将状态编码转换为可读内容。

例如，将源数据中的状态编码：

1 → 待处理
2 → 处理中
3 → 已完成

或者增加数据来源字段：

data_source = 'mysql_order'

转换逻辑并不是越多越好。首次搭建时，应优先保证主链路可执行，再逐项添加业务规则。

---

5. 配置 Doris 表输出和字段映射

在表输出组件中，需要选择 Doris 数据连接和目标表，并配置源字段与目标字段之间的映射关系。

字段映射时建议重点检查以下内容：

• 字段含义是否一致；
• 字段类型是否兼容；
• 日期和时间格式是否匹配；
• 目标表必填字段是否完整；
• 新增字段是否已经映射；
• 字符串长度是否超过目标字段限制。

例如，源表字段为：

user_name
order_status
create_time

目标表字段为：

username
status
created_at

就需要手动建立对应关系，不能仅依赖字段顺序。

需要注意的是，任务执行成功并不代表字段映射一定正确。字段错位、类型隐式转换等问题，通常只能在结果查询阶段发现。

---

6. 选择合适的数据写入方式

qData数据中台开源版可以根据同步场景配置不同的写入方式，常见模式包括：

追加写入

在目标表已有数据的基础上继续插入。

适用于日志、流水等持续新增的数据，但需要考虑任务重复执行带来的重复数据问题。

全量同步

重新同步完整数据集。

适用于数据量较小或定期重建目标表的场景，通常需要配合目标表清理策略使用。

增量更新

根据时间字段、主键或业务版本字段，只同步新增或发生变化的数据。

适用于周期性运行的生产任务，但需要提前定义：

• 增量字段；
• 更新时间范围；
• 唯一键；
• 重复数据处理规则；
• 数据更新策略。

首次测试可以先采用追加方式，并控制测试数据量。链路验证完成后，再切换为全量或增量同步。

---

7. 执行任务并查看运行日志

组件配置完成后，保存并运行任务。

任务执行过程中，可以通过运行记录和日志查看：

• 任务开始和结束时间；
• 各组件执行状态；
• 数据读取数量；
• 数据写入数量；
• 执行 SQL；
• 异常信息。

如果任务失败，可以优先从以下几个方向排查：

1. 数据库连接是否正常；
2. 数据库账号是否具有读写权限；
3. 源字段和目标字段类型是否兼容；
4. Doris 目标表是否存在；
5. 必填字段是否为空；
6. 字段映射是否完整；
7. 查询条件或 SQL 是否正确。

---

8. 查询 Doris 验证同步结果

任务状态显示成功后，还需要查询 Doris 目标表验证数据。

建议重点检查：

• 写入条数是否符合预期；
• 主键和业务字段是否正确；
• 字段是否发生错位；
• 数据类型是否正确；
• 转换规则是否生效；
• 是否存在重复记录；
• 空值是否符合预期。

可以使用类似 SQL 进行检查：

SELECT COUNT(*) 
FROM target_table;

抽查具体数据：

SELECT *
FROM target_table
ORDER BY create_time DESC
LIMIT 20;

检查重复数据：

SELECT business_id, COUNT(*)
FROM target_table
GROUP BY business_id
HAVING COUNT(*) > 1;

只有任务运行状态和目标表数据都符合预期，才能说明同步链路真正完成。

---

总结

通过 qData 数据中台开源版，可以使用可视化方式完成 MySQL 到 Doris 的基础数据同步，主要涉及以下环节：

1. 配置 MySQL 和 Doris 数据连接；
2. 创建数据集成任务；
3. 设置源表和读取条件；
4. 按需配置字段转换；
5. 完成目标表字段映射；
6. 选择数据写入方式；
7. 执行任务并查看日志；
8. 查询 Doris 验证最终结果。

对于初次验证，建议选择一张结构简单、数据量可控的业务表，先跑通最小同步链路。

在基础流程稳定后，再逐步增加增量条件、周期调度、数据去重和异常处理等配置。相比直接搭建复杂的数据处理流程，这种渐进式方式更容易发现问题，也更适合用于数据集成工具的技术选型和功能验证。