数据质量管理的内涵与评估

数据质量管理是指对数据从计划、获取、存储、共享、维护、应用到消亡的全生命周期中可能引发的各类质量问题,进行识别、度量、监控、预警等管理活动,并通过改善组织管理水平提高数据质量。它是循环管理过程,目标是通过可靠数据提升使用价值,为企业赢得经济效益。

数据质量管理不仅包含数据清洗,还包含对组织的改善。针对数据,包括分析、评估、清洗、监控、错误预警等;针对组织,包括确立改进目标、评估流程、制定改善计划、建立监督审核机制、实施改进、评估效果等。

评估分为两个维度:

数据质量评估维度:完整性,度量数据丢失或不可用;规范性,度量未按统一格式存储;一致性,度量数据值在含义上的冲突;准确性,度量数据不正确或超期;唯一性,度量重复数据或重复属性;关联性,度量关联数据缺失或未建索引。

管理质量评估维度:配置管理,度量数据生命周期内相关资源是否受控;培训,度量数据生产和使用者是否接受培训、效果是否满足岗位需要;验证和确认,度量数据是否满足指定要求、是否在计划环境中满足使用要求;监督和监控,度量产生和使用数据的流程是否真正受控。

数据质量因素主要来源于四方面:信息因素,如元数据描述错误、数据源规格不统一;技术因素,如数据创建、获取、传输、装载、使用、维护等环节异常;流程因素,如系统作业和人工操作流程设置不当;管理因素,如人员素质及管理机制问题,包括培训、奖惩措施不当导致的管理缺失。

相关推荐
爱签AI电子合同2 分钟前
电子合同全维度实测与选型指南
大数据·人工智能
AI办公探索者8 分钟前
从SaaS到本地部署:大模型推理成本优化与8888元私有化方案的技术解析
大数据·人工智能
做运维的阿瑞16 分钟前
云项目可观测性与成本治理:告警、日志、Dashboard 与预算标签
大数据·云原生·云计算·terraform
4SAPI1 小时前
多国产模型混合调度与企业级治理生产选型指南:4SAPI、硅基流动与 OpenRouter 的架构权衡
大数据·人工智能·架构·php
智购科技自动售货机厂家1 小时前
让AI经营自动售货机:从Project Vend看工具权限与业务规则~YH
大数据·服务器·单片机·嵌入式硬件·深度学习
数字新视界2 小时前
空调控制器AIRC800的智能化管理与应用实践
大数据·服务器·数据库·动环监控系统·动力与环境监控系统
isfox2 小时前
ReduceTask工作机制
大数据
蹄蹄3 小时前
从“一次性检测“到“年度服务“:检测机构收入结构变了,合同和应收账款也要跟着变
大数据·数据库·人工智能
YIN_尹3 小时前
【git原理与使用】git初识与安装
大数据·git·elasticsearch