亲测丝滑,体验跃迁|AllData通过集成开源项目DataVines,一站式解决数据质量难题


很多企业面对纷繁多样的多源数据,技术人员需针对不同数据源逐一编写专属校验脚本,工作重复度高、人力成本投入巨大。

但这次AllData数据中台集成DataVines构建数据质量平台,彻底打破了传统数据质检的痛点瓶颈,让复杂的数据质量治理工作,真正实现轻量化、高效化、智能化。

💎项目地址:https://github.com/datavane/datavines

💎文档地址:https://datavane.github.io/datavines-website/

本次版本升级亮点十足,数据质检能力迎来大幅进阶,体验焕然一新。以往开展全域数据质量管控,只能依赖手动编写规则、逐项核验数据,不仅流程繁琐冗长,数据容错率也偏低。

如今依托 DataVines可视化配置与轻量化规则编辑功能,各类场景的数据质量巡检、任务管控均可高效完成。

数据质量平台搭建了全维度、全覆盖的数据校验体系,可精准检测数据的完整性、准确性、唯一性与及时性,全方位筑牢数据质量防线。


数据质量平台【DataVines】功能演示

1、数据质量分析

作为统一的质量监控入口,支持多源数据接入与管理,为全链路数据质量评估与分析提供稳定基础。

图1-数据质量分析

图2-数据质量分析

2、告警管理

集中配置与处理各类质量告警规则,实现异常问题的智能感知与多渠道、分级别的精准触达。

3、错误数据管理

提供对质量规则所识别出的错误数据进行查看、筛选、分发与跟踪处理的闭环管理能力。

4、用户管理

统一管理平台用户、角色与权限,保障不同团队在协同进行数据治理时的操作安全与职责清晰。

5、标签管理

支持为数据资产打上业务或管理标签,实现基于标签的灵活分组、快速检索与差异化质量策略配置。

6、参数管理

集中管理系统级的配置参数与业务规则阈值,实现全局策略的统一调整与高效维护。


一、数据源接入

步骤1: 打开数据质量分析,点击创建数据仓库进行新建数据源

(1)数据仓库类型选择"MySQL";

(2)地址:32g005

(3)端口:33996

(4)用户名:root,密码:22WCp2OUgZhR(注意密码不要填错)

*不同数据源对应账号密码不一样,实操示范中数据源信息对应为此账号密码,如需新建数据源可在数据源管理进行新建并在此处更换成新建数据源信息及其账号。

步骤2: 点击测试链接,显示链接成功点击确认完成创建

图1-新建数据源

图2-创建完成

二、配置质量规则
步骤1: 选中刚刚创建的"数据质量检查"数据库,进入详情页查看数据大盘。在左侧导航栏中点击"作业管理",选择"数据比对作业"类型,然后点击"创建规则作业"中的"数据质量作业"。业。

步骤2: 点击保存完成新建

(1)名称:AllData-Test-2026;

(2)Metric:选择"非空检查";

(3)数据库信息:选择"studio"、表名选择"account"、列选择"ACCOUNT_ID";

(4)其他信息:

期望值类型选择"日均值"、结果公式选择"实际值/期望值*100%"、比较符选择"="、阈值输入100

图3-作业管理-创建规则作业

三、设置告警策略
步骤1: 打开告警管理后,点击创建SLA,进行新建通知

步骤2 : 返回数据质量分析中的"数据质量检查"进入作业管理,点击数据质量检查的作业编辑

图4-数据质量检查-编辑

步骤3 : 进行设置定时任务配置、发生错误时候SLA告警配置。

图5-设置定时任务配置

图6-选择SLA

步骤4: 点击保存,完成SLA配置设置后,返回告警管理中点击"数据质量告警通知"详情,会显示已经关联来"数据质量检查"这个作业。在该页面通知管理中,点击添加通知进行添加警通知人。

图7-选择关联规则作业

图8-通知管理-添加通知

四、执行与参考结果
步骤1 : 打开数据质量分析,进入"数据质量检查"数据库,在质量大盘中可以清晰查看作业的运行情况

图9-质量大盘-作业运行情况

步骤2 : 在作业执行记录里可以查看该数据库的所有作业情况

图10-作业执行记录

步骤3 :点击列表操作中的结果可以查看当前作业的检查结果详细。

图11-作业执行记录-结果

这次AllData 集成 DataVines构建数据质量平台,绝非简单的功能堆砌。数据质量平台可将零散难落地的数据质量治理工作规范化、可控化,有效规避数据风险,把数据沉淀为可信可用资产,助力业务精细化发展。

还在困扰数据杂乱、质检低效、治理无从下手,频繁切换工具耗费大量精力? 不妨一起来体验 AIIData 数据质量平台,一站式搞定全域数据质检与治理工作。


相关推荐
Geek-Chow2 分钟前
06 训练管线:数据如何变成权重
人工智能·算法
树欲静而风不止864 分钟前
AI赋能研发管理:全星APQP系统打通质量闭环,让高端制造项目管控更聪明
人工智能·制造
%476 分钟前
DAY 38
人工智能·pytorch·深度学习
郑州光合科技余经理9 分钟前
海外版多语言团购系统架构:主数据互通与核销边界
java·开发语言·前端·后端·系统架构·php·ai编程
北京靠谱的GEO优化机构12 分钟前
媒体邀约怎么做才专业?详解企业高端品牌专访传播全流程
大数据·人工智能·媒体
user-猴子17 分钟前
QoderWork、TRAE Work、AiPy、Kimi Work:四款桌面AI智能体定位与适用场景全拆解
人工智能
码农胖大海17 分钟前
项目级 Skill 跨 Agent 共用的解决方案
人工智能
老纪的技术唠嗑局18 分钟前
端侧智能爆火之后,为何模型反而不是主角了?
数据库·人工智能
陈童学哦18 分钟前
别只看见模型强,Anthropic真正护城河是反馈闭环
人工智能