大数据数据血缘是什么,跟数据质量有什么关系?

从下面这张表我们可以引出一个数据血缘 的概念。

数据血缘:数据的来龙去脉,主要包含数据的来源、数据的加工方式、映射关系以及数据出口。

通俗来说数据血缘就是数据的来龙去脉,它主要做两件事情,第一件事情就是追根溯源,快速地查询出来我这个字段是从哪张表上来的,中间经过了哪些环节。第二个是反映了数据的变化过程。

上面这个图片我们可以看到从Table A到Table G,中间集成了很多其他的表。

数据血缘属于元数据的一部分,清晰的数据血缘是数据平台维持稳定的基础,更有利于数据变更影响分析以及数据问题排查。

数据血缘的范围:数据血缘单纯的数据角度来看包含的维度有数据库、表、字段、系统、应用程序,即数据存储在什么数据库的什么表,对应的字段是什么以及字段的属性,数据所属的系统以及与数据有关的应用程序。

数据血缘从业务角度来看包含的维度主要是数据所属业务线,涉及到业务便要梳理清楚数据的产生逻辑、数据的使用逻辑以及业务线之间的关联关系。

数据血缘可以可以通过程序解析和人工采集的方式获取。程序解析主要是面向存储过程、sql、视图以及已有的ETL过程。以一个数据加工的完整流程为例,每个数据加工的流程都通过一个唯一的标识进行标记,流程中的每一个环节都记录其前后依赖关系,程序将每一个环节的逻辑解析以后 根据依赖关系和流程便可以生成全流程的数据血缘。

人工采集可以是程序解析的一种辅助,也可以单独以这种方式发挥作用。与程序解析不同的是,人工采集的结果可以更准确与详实,即使是在程序解析可以实现极高的准确率的情况下也需要以人工的方式进行一次审核是比较合理的做法。

后面会带大家继续了解大数据测试,欢迎大家继续关注。

(本系列文章根据《优品软件培育计划》公益直播内容整理,观看直播回放可以私信我,获取观看链接。)

相关推荐
金融小师妹7 分钟前
机器学习捕捉地缘溢价:黄金突破一周高位,AI预测模型验证趋势强度
大数据·人工智能·深度学习
2501_941805317 分钟前
在首尔智能公共自行车场景中构建实时调度与高并发骑行数据分析平台的工程设计实践经验分享
安全
龙亘川12 分钟前
低空智能网联安全技术深度解析:从标准体系到核心技术落地
安全
小王毕业啦17 分钟前
2003-2023年 285个地级市邻接矩阵、经济地理矩阵等8个矩阵数据
大数据·人工智能·数据挖掘·数据分析·数据统计·社科数据·实证数据
安达发公司24 分钟前
安达发|石油化工行业自动排产软件:驱动产业升级的核心引擎
大数据·人工智能·aps高级排程·aps排程软件·安达发aps·自动排产软件
摸鱼仙人~27 分钟前
跨文化范式迁移与数字经济重构:借鉴日本IP工业化经验构建中国特色现代文化产业体系深度研究报告
大数据·人工智能
DKunYu28 分钟前
2.分支管理
大数据·git·elasticsearch·搜索引擎·gitee
摸鱼仙人~35 分钟前
中国内需市场的战略重构与潜在增长点深度研究报告
大数据·人工智能
中科固源1 小时前
面对快手式自动化突袭:如何堵住通讯协议的数字化命门?
安全·网络安全·通讯协议·模糊测试
云飞云共享云桌面1 小时前
非标自动化工厂的设计云桌面为什么要选云飞云智能共享云桌面?
大数据·运维·服务器·网络·自动化·负载均衡