qData 数据中台开源版 v1.1.0 发布:清洗与稽查规则能力增强,支持 ARM 与 x86 双架构

qData 数据中台开源版 v1.1.0 已正式发布。本次版本基于社区用户在实际使用过程中的反馈,围绕规则能力补充、构建与发布流程优化,以及 ARM 架构运行支持进行了针对性改进,进一步提升在复杂数据场景和多样化部署环境下的可用性。

为什么要做这次更新

在 qData 开源版的使用过程中,社区用户集中反馈了以下几类问题:

  • 清洗与稽查规则覆盖不足

    当数据结构和质量情况较为复杂时,现有规则数量有限,难以满足实际处理需求。

  • 部署与发版成本偏高

    安装包体积较大,交付与下载耗时较长;版本发布过程中人工操作较多,整体效率有待提升。

  • 运行环境适配受限

    ARM 架构服务器及苹果芯片设备逐步普及,原有版本在部分环境下无法直接运行,需要统一适配方案。

v1.1.0 版本即针对上述问题进行了集中优化。

新增清洗规则(5 个)

为增强数据预处理阶段的灵活性,qData 开源版 v1.1.0 新增了 5 项清洗规则:

  • 清洗过期记录

    支持基于时间条件自动清理已失效的数据记录。

  • 字段值转大写

    对指定字段进行统一的大写转换,适用于编码、标识类字段的标准化处理。

  • 超长字段截取

    当字段长度超过设定阈值时,按规则自动截断,避免异常数据影响后续处理。

  • 小数位统一处理

    对数值字段的小数位数进行规范,确保数据精度一致。

  • 正则表达式替换

    支持通过正则表达式对字段内容进行替换,增强对复杂文本场景的清洗能力。

新增稽查规则(3 个)

在数据质量校验层面,v1.1.0 版本补充了以下稽查规则:

  • 数值范围校验

    校验字段值是否处于设定的数值区间内,用于拦截异常数据。

  • 字段长度范围校验

    校验字段长度是否符合预期范围,提升字段规范性。

  • 枚举值校验

    校验字段值是否属于预定义的枚举集合,确保数据满足业务约束。

ARM + x86 双架构支持

针对不同硬件环境的部署需求,qData 开源版 v1.1.0 在构建与交付方式上进行了优化:

  • 统一构建方式

    支持基于 Maven 一键打包生成 Jar 包与镜像(可配置)。在安装 Docker 与 Buildx 的前提下,同时支持 ARM 与 x86 架构。

  • 镜像化交付

    支持将构建完成的镜像直接推送至阿里云镜像管理平台,避免反复传输大型安装包,部署过程更加高效。

  • 达梦数据库 ARM 适配

    完成达梦数据库在 ARM 架构下的镜像适配,增强国产化环境下的运行能力。

结语

qData 开源版 v1.1.0 并未引入新的使用范式,而是围绕可用性、工程效率与运行环境适配进行了持续完善,目标是让开源版在真实项目中更加稳定、易部署、可落地。

相关推荐
RestCloud8 小时前
iPaaS集成平台如何打通ERP、CRM、OA等异构系统
数据治理·crm·erp·ipaas·oa·集成平台
一铭1119911 小时前
海豹办公 1.9.15 跨端办公软件实践 文档兼容 Access 数据库与移动 WebView 排错
android·数据库·electron·开源软件·access
真上帝的左手1 天前
27. 数据产品-数据治理-11.完整岗位体系
大数据·数据治理·数据架构
龙亘川1 天前
水质决策报表业务建模:从自定义报表到六时间尺度自动报表闭环
大数据·人工智能·智慧城市·开源软件
沐曦股份MetaX2 天前
沐曦股份携手FlagOS完成面壁智能MiniCPM-V4.7端侧模型Day 0适配
科技·搜索引擎·自然语言处理·开源·开源软件·gpu算力
真上帝的左手2 天前
27. 数据产品-数据治理-13.企业全套制度体系
大数据·数据治理·数据架构
0春华秋实2 天前
内置不够用?手搓 RAGAS 自定义指标(含 SQL/MultiHop)(10/13)
人工智能·aigc·开源软件
一直C2 天前
嵌入式 Linux 驱动开发学习笔记(三)设备树、GPIO子系统、中断与外设驱动实战
驱动开发·单片机·嵌入式硬件·嵌入式·arm·imx6ull
黄一一9112432 天前
吾爱大佬开发,离线可用!PDF文件处理工具,本地网页版文件-浏览器里就能搞定,所有操作系统可用
windows·安全·阿里云·pdf·.net·开源软件
橙时数据 FineInsight2 天前
指标、规则和业务本体分别解决什么问题:从数据计算到可解释判断
agent·数据治理·指标体系·智能决策·语义建模·业务规则·业务本体