在数据中台的实际使用过程中,我们持续关注社区用户的真实反馈与使用场景。
本次 qData 数据中台开源版 1.1.2 更新,围绕 数据源扩展、数据质量能力增强、数据集成易用性提升 三个方向进行了集中优化,并修复了社区中反馈的若干问题。
下面为大家带来本次版本的详细更新说明 👇
一、更新背景
1️⃣ Apache Doris 使用频率持续上升
在社区和用户实践中,我们发现 Apache Doris 作为高性能分析型数据库,被广泛应用于实时数仓与分析场景。
因此,qData 开源版在本次版本中正式将 Apache Doris 纳入核心数据源体系,并实现多模块全面支持。
2️⃣ 数据稽查规则持续扩展
随着数据质量治理场景的不断丰富,原有稽查规则已无法覆盖全部业务需求。
本次更新对稽查规则进行了扩展,增强了对时间逻辑、字段完整性等典型场景的支持。
3️⃣ 数据集成转换能力进一步增强
在数据集成任务中,用户对"灵活处理数据"的需求越来越高。
因此,1.1.2 版本新增多种常用转换组件,让数据处理过程更加顺手、直观。
4️⃣ 社区反馈问题集中修复
感谢社区用户的持续反馈 🙌
本次版本同步修复了多个已在社区提交的 Bug,进一步提升了系统稳定性与使用体验。
二、核心更新内容一览
1️⃣ Apache Doris 数据源全面支持
本次更新中,qData 开源版已在多个核心模块中支持 Apache Doris 数据源:
-
数据连接
- 新增 Apache Doris 数据源类型,支持统一配置与管理
-
数据查询
- 支持基于 Apache Doris 的数据查询能力
-
数据集成任务
- 表输入组件支持 Apache Doris
- 表输出组件支持 Apache Doris
这意味着,用户可以在 qData 开源版中完成 从 Doris 到 Doris、或 Doris 与其他数据源之间的数据集成与治理,覆盖更多实时分析与数仓场景。
2️⃣ 新增数据稽查规则
为满足更复杂的数据质量校验需求,本次新增以下两类稽查规则:
✅ 时间字段顺序逻辑校验
-
检查多个时间字段之间是否存在逻辑上的先后关系
-
适用于:
- 开始时间 / 结束时间
- 创建时间 / 更新时间
- 业务流程时间链路校验等场景
✅ 字段组完整性校验
-
校验字段组合在全表范围内是否唯一
-
常用于:
- 联合主键校验
- 业务唯一性约束检测
3️⃣ 新增数据转换组件
在数据集成任务中,1.1.2 版本新增多种高频使用的转换组件:
-
去除重复记录组件
- 支持基于指定字段进行去重处理
-
常量转换组件
- 为字段赋固定值,简化规则类处理逻辑
-
字段选择 / 修改组件
- 灵活控制字段的保留、重命名、调整
-
值映射组件
- 支持将字段值按规则进行映射转换
- 适用于编码转换、状态值标准化等场景
这些组件的加入,使得数据集成任务在不依赖外部 ETL 工具的情况下,也能完成更复杂的数据加工逻辑。
4️⃣ 社区 Bug 修复
本次版本同步修复了以下社区已反馈问题:
-
数据质量模块
- 字段字符类型校验在配置后,
监测按钮与抽查、任务执行时的正则执行方式不一致的问题 - Issue 链接:
https://gitee.com/qiantongtech/qData/issues/ID7JBF
- 字段字符类型校验在配置后,
-
系统界面
- 顶部菜单中,当消息提醒设置为"全部已读"时页面异常的问题
- Issue 链接:
https://gitee.com/qiantongtech/qData/issues/IDK90M
感谢社区用户的积极反馈,帮助 qData 变得更稳定、更好用 ❤️
三、版本总结
qData 数据中台开源版 1.1.2 版本是一次围绕"实用性与易用性"的稳步迭代:
- Apache Doris 正式成为一等公民数据源
- 数据质量稽查能力进一步完善
- 数据集成转换更加灵活高效
- 社区反馈问题得到及时响应和修复
未来,qData 也将继续以社区需求为导向,持续打磨数据中台能力,欢迎大家继续参与共建与交流。