数据质量管理的内涵与评估

数据质量管理是指对数据从计划、获取、存储、共享、维护、应用到消亡的全生命周期中可能引发的各类质量问题,进行识别、度量、监控、预警等管理活动,并通过改善组织管理水平提高数据质量。它是循环管理过程,目标是通过可靠数据提升使用价值,为企业赢得经济效益。

数据质量管理不仅包含数据清洗,还包含对组织的改善。针对数据,包括分析、评估、清洗、监控、错误预警等;针对组织,包括确立改进目标、评估流程、制定改善计划、建立监督审核机制、实施改进、评估效果等。

评估分为两个维度:

数据质量评估维度:完整性,度量数据丢失或不可用;规范性,度量未按统一格式存储;一致性,度量数据值在含义上的冲突;准确性,度量数据不正确或超期;唯一性,度量重复数据或重复属性;关联性,度量关联数据缺失或未建索引。

管理质量评估维度:配置管理,度量数据生命周期内相关资源是否受控;培训,度量数据生产和使用者是否接受培训、效果是否满足岗位需要;验证和确认,度量数据是否满足指定要求、是否在计划环境中满足使用要求;监督和监控,度量产生和使用数据的流程是否真正受控。

数据质量因素主要来源于四方面:信息因素,如元数据描述错误、数据源规格不统一;技术因素,如数据创建、获取、传输、装载、使用、维护等环节异常;流程因素,如系统作业和人工操作流程设置不当;管理因素,如人员素质及管理机制问题,包括培训、奖惩措施不当导致的管理缺失。

相关推荐
数字新视界1 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天1 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城3 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk5553 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证3 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读5 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI6 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy19906 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli6 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
AI_Auto8 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造