大数据数据血缘是什么,跟数据质量有什么关系?

从下面这张表我们可以引出一个数据血缘 的概念。

数据血缘:数据的来龙去脉,主要包含数据的来源、数据的加工方式、映射关系以及数据出口。

通俗来说数据血缘就是数据的来龙去脉,它主要做两件事情,第一件事情就是追根溯源,快速地查询出来我这个字段是从哪张表上来的,中间经过了哪些环节。第二个是反映了数据的变化过程。

上面这个图片我们可以看到从Table A到Table G,中间集成了很多其他的表。

数据血缘属于元数据的一部分,清晰的数据血缘是数据平台维持稳定的基础,更有利于数据变更影响分析以及数据问题排查。

数据血缘的范围:数据血缘单纯的数据角度来看包含的维度有数据库、表、字段、系统、应用程序,即数据存储在什么数据库的什么表,对应的字段是什么以及字段的属性,数据所属的系统以及与数据有关的应用程序。

数据血缘从业务角度来看包含的维度主要是数据所属业务线,涉及到业务便要梳理清楚数据的产生逻辑、数据的使用逻辑以及业务线之间的关联关系。

数据血缘可以可以通过程序解析和人工采集的方式获取。程序解析主要是面向存储过程、sql、视图以及已有的ETL过程。以一个数据加工的完整流程为例,每个数据加工的流程都通过一个唯一的标识进行标记,流程中的每一个环节都记录其前后依赖关系,程序将每一个环节的逻辑解析以后 根据依赖关系和流程便可以生成全流程的数据血缘。

人工采集可以是程序解析的一种辅助,也可以单独以这种方式发挥作用。与程序解析不同的是,人工采集的结果可以更准确与详实,即使是在程序解析可以实现极高的准确率的情况下也需要以人工的方式进行一次审核是比较合理的做法。

后面会带大家继续了解大数据测试,欢迎大家继续关注。

(本系列文章根据《优品软件培育计划》公益直播内容整理,观看直播回放可以私信我,获取观看链接。)

相关推荐
智慧物业老杨几秒前
物业费催收难?数智化系统如何用技术重构“服务-收费“闭环
大数据·人工智能
Raas1002 分钟前
AI网关怎么选?MAI Gateway(魔芋企业级AI网关)入选2026年企业级AI网关推荐清单
大数据·网络·人工智能·gateway·mai gateway
逸A6 分钟前
携程app逆向那些事(ai agent能力偏弱时)
人工智能·python·安全
恒拓高科WorkPlus7 分钟前
企业IM、OA套件与数字协同平台怎么选?现有系统集成与采购成本对比
大数据·安全
汇智信科10 分钟前
基于 SMS 体系的民航安全管理平台架构,危险源与事件闭环管理
人工智能·安全·汇智信科·hsim·fastclaw·汇智龙虾
数据皮皮侠13 分钟前
中国产品级二氧化碳排放数据集
大数据·人工智能·搜索引擎·智慧城市·制造
科技小E19 分钟前
敏感数据不敢上云训练?本地大模型推理服务器DLTM私有化部署,让训练全程留在企业内网
大数据·算法·自动化
Zenova EdgeOS19 分钟前
Linux Nginx 反向代理实战:工业边缘 API 接入与安全加固
linux·nginx·安全·边缘计算·工业网关
javaDocker32 分钟前
授权、协议与提示注入:Personal Agent 的安全基线该抄哪几份作业
人工智能·安全·金融·架构
其实防守也摸鱼1 小时前
CTF Web 6 题全解 Writeup
linux·sql·学习·算法·安全·ctf·xss