一次围绕「效率、兼容、社区」的系统性升级
这次 v1.1.1 更新,我们没有堆功能,而是围绕一个核心问题做升级:
让数据同步更聪明,让老系统更好接,让社区协作更顺畅。
一、同步机制升级:这是本次更新的「核心变化」
过去一段时间,我们在真实项目和社区反馈中发现:
数据同步最大的浪费,不在写入,而在"重复读取"。
❌ 以前的问题
- 基于主键或时间的增量同步是"静态条件"
- 每次任务都会查出大量已经同步过的数据
- 数据量一大,同步时间、数据库压力都被放大
✅ 现在的改变:引入「动态游标同步机制」
qData v1.1.1 正式引入 动态游标(Cursor)机制:
-
主键游标
- 记录上一次同步完成时的最大主键值
- 下次同步直接从
主键 > 上次游标开始

-
时间游标
- 自动记录上一次 SQL 的结束时间
- 下次任务从该时间点继续执行
- 时间窗口持续向前滚动,不再回头

📌 效果只有一句话:
已经同步过的数据,系统再也不会碰第二次。
同时,游标信息在任务配置中可视化展示:
- 当前同步到哪里
- 下次从哪里开始
一目了然。
二、SQL Server 2008 全面支持:对现实系统的尊重
我们在社区发现一个很现实的问题:SQL Server 2008 还在大量生产系统中运行。

所以这次更新中,我们没有"劝升级",而是选择直接支持:
-
数据源连接支持 SQL Server 2008
-
数据查询支持 SQL Server 2008
-
数据集成任务中
- 表输入支持
- 表输出支持
👉 老系统不折腾,也能直接接入 qData。
三、数据清洗能力增强:补齐高频刚需
本次新增 3 类常用清洗规则,全部来自真实使用场景:
-
字段值统一转小写
适用于邮箱、域名等高频字段
-
字段空格清洗
去除前后及多余空格,提升匹配准确性
-
日期格式统一
多种格式统一为标准格式(如
yyyy-MM-dd),支持配置模板
不花哨,但每天都在用。
四、社区体验优化:让协作本身更高效
1️⃣ Issue 模板全面升级
- 提单结构标准化
- 填写指引更清晰
- 问题信息一次给全,减少来回沟通
2️⃣ 社区 Bug 修复
感谢社区同学的真实反馈与参与:
- @xumingliang2020
- @jackwong123
每一个 Issue,都是 qData 进化的一部分。
最后
qData 数据中台开源版 v1.1.1 不是一次"功能堆砌"的更新,
而是一次围绕效率、兼容性与工程质量的系统升级。
我们希望:
qData 开源版不只是"能用",而是在真实复杂场景下,长期可靠地用下去。