数据质量管理-时效性管理

前情提要

根据GB/T 36344-2018《信息技术 数据质量评价指标》的标准文档,当前数据质量评价指标框架中包含6评价指标,在实际的数据治理过程中,存在一个关联性指标。7个指标中存在4个定性指标,3个定量指标;

定性指标:规范性、准确性、唯一性、可访问性

定量指标:完整性、时效性、关联性

规范性--数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度;

完整性--按照数据规则要求,数据元素被赋予数值的程度;

准确性--数据准确表示其所描述的真实实体(实际对象)真实值的程度;

一致性--数据与其他特定上下文中使用的数据无矛盾的程度;

时效性--数据在时间变化中的正确程度;

可访问性--数据能被访问的程度;

关联性--数据记录的实体与实体、实体与时间、实体与地理信息等维度之间的关系构建程度;

时效性怎么进行数据监测和指标量化

时效性 定义

官方定义:数据在时间变化中的正确程度;

(时效性的定义可以从外部对比的时效性和内部对比的时效性两个方向来梳理)

外部对比的时效性: 外部对比的时效性是指从外部数据源获取的数据,数据的更新及时性;

内部对比的时效性: 内部对比的时效性是指数据在内部数仓流转、自主研发的数据资源的数据更新是否及时;

作用的环节

数据更新及时与否是针对数据资产或数据场景而言的,因此监测环节可以是数据资产层或者数据服务层;

数据质量管理依据

外部对比的时 效性: 依据「数据归集标准」中的数据探查维度标准,在探查过程中需要探查数据源的数据更新频率,基于数据源的更新频率制定数据时效性目标;

内部对比的时效性: 依据「数据处理标准」中的数据规则执行频率,在数据处理标准中,每个数据规则会制定相关的执行频率,基于执行频率进行对比;

数据监测方法

外部对比的时效性 可以以数据源为监测维度,其核心监测维度是数据归集任务成功与否(与外部对比的完整性一致,这里不再赘述,感兴趣可以看《数据质量管理-完整性》,且为了避免重复计算,时效性指标中可以不纳入数据归集任务指标的计算)、数据业务时间与数据更新时间的时间差两个维度;

数据业务时间与数据更新时间的时间差: 外部对比的时效性一般是基于数据源数据更新到****-**-**,而数仓中未及时更新导致的数据时效性指标不及格的情况,所以需要对比数据归集任务的执行时间和数据业务更新时间的对比,基于最近10期确定平均值,制定每个规则的更新周期上限,制定数据时效性监测策略(存在数据融合的情况下需要依据分类决策);

内部对比的时效性: 依据「数据处理标准」中的数据规则执行频率,监测任务执行成功与否;

量化标准

外部对比的完整性: 数据业务时间与数据更新时间的时间差可以按以下步骤搭建量化标准;

1.表1:制定每张表需要监测的业务时间字段,每个规则的更新周期上限,制定数据时效性监测策略,如表1所示;

2.表2:存储每张表的数据监测维度中最新10期平均时间差(从第三表中获得),并且基于表1计算出每个规则最新的时间差上限(最新10期平均时间差+数据更新允许推迟最晚周期);

3.表3:监测每张表的每个规则的最新业务时间和数据库最新更新时间(前提是数据库中有update的时间戳),并且计算出二者时间差,然后基于时间差和表2的时间差-上限做比对,当表3的时间差小于等于表2的时间差-上限,则赋值为正常更新;

4.表4:基于最新的监测时间点中每张表的每个规则正常更新规则数与规则总数的占比,计算外部时效性得分;例如*******A的4个规则在最新一期有3个规则更新成功了,那么本期的外部时效性得分为75分;

内部对比的完整性: 内部对比的完整行主要是通过数据任务执行情况,调取任务执行状态,更新数和新增数以及数据库最新更新时间(佐证任务执行状态),最后基于每张表的每个任务执行状态计算平均分,如表2所示;

最终计算表单的时效性总分(内部时效性与外部时效性平均值);

下一章:可访问性怎么进行数据监测和指标量化 ?

相关推荐
长风清留扬2 小时前
一篇文章了解何为 “大数据治理“ 理论与实践
大数据·数据库·面试·数据治理
Odoo老杨2 天前
Odoo :免费且开源的农牧行业ERP管理系统
odoo·数字化转型·erp·企业信息化·农牧行业
weixin_448350505 天前
十堰市数据治理:大数据治理在智慧城市中的应用探索
大数据·人工智能·自动化·智慧城市·数据治理·数据提取
Odoo老杨7 天前
Odoo :一款免费开源的日化行业ERP管理系统
odoo·数字化转型·erp·企业信息化·日化行业管理系统·日化行业解决方案
Odoo老杨10 天前
Odoo:免费开源的流程制造行业ERP管理系统
odoo·数字化转型·erp·企业信息化·流程制造行业·化工生产行业
Leo.yuan10 天前
115页PDF | 埃森哲_XX集团信息化能力成熟度评估及能力提升方案(限免下载)
数字化转型·埃森哲·信息化管控·it组织·it资产管理
梦想画家12 天前
dbt 数据分析工程实战教程(汇总篇)
数据治理·数据工程·分析工程
Odoo老杨15 天前
Odoo | 免费开源ERP:汽车及零配件行业信息化解决方案
odoo·数字化转型·erp·企业信息化·汽配行业解决方案·汽配行业管理系统
The Open Group17 天前
企业如何通过架构蓝图实现数字化转型
大数据·人工智能·分布式·微服务·云原生·架构·数字化转型
大腾智能18 天前
数字化装配助力柔性制造与快速换型,驱动效率飞跃
制造·数字化转型·工业数字化·数字化装配