数据质量管理的内涵与评估

数据质量管理是指对数据从计划、获取、存储、共享、维护、应用到消亡的全生命周期中可能引发的各类质量问题,进行识别、度量、监控、预警等管理活动,并通过改善组织管理水平提高数据质量。它是循环管理过程,目标是通过可靠数据提升使用价值,为企业赢得经济效益。

数据质量管理不仅包含数据清洗,还包含对组织的改善。针对数据,包括分析、评估、清洗、监控、错误预警等;针对组织,包括确立改进目标、评估流程、制定改善计划、建立监督审核机制、实施改进、评估效果等。

评估分为两个维度:

数据质量评估维度:完整性,度量数据丢失或不可用;规范性,度量未按统一格式存储;一致性,度量数据值在含义上的冲突;准确性,度量数据不正确或超期;唯一性,度量重复数据或重复属性;关联性,度量关联数据缺失或未建索引。

管理质量评估维度:配置管理,度量数据生命周期内相关资源是否受控;培训,度量数据生产和使用者是否接受培训、效果是否满足岗位需要;验证和确认,度量数据是否满足指定要求、是否在计划环境中满足使用要求;监督和监控,度量产生和使用数据的流程是否真正受控。

数据质量因素主要来源于四方面:信息因素,如元数据描述错误、数据源规格不统一;技术因素,如数据创建、获取、传输、装载、使用、维护等环节异常;流程因素,如系统作业和人工操作流程设置不当;管理因素,如人员素质及管理机制问题,包括培训、奖惩措施不当导致的管理缺失。

相关推荐
净水深流2 小时前
中央厨房冷链技术实践:多温区改造、WMS落地与IoT温控架构
大数据·数据库·人工智能·冷库冷链
是Yu欸3 小时前
鸿蒙PC移植:2048 从网页小游戏到 AI 桌面应用
大数据·人工智能·算法·数据挖掘·openharmony·codex
智搜广告3 小时前
智搜广告:科技行业AI回答优化公司如何破局
大数据·python·elasticsearch·geo
湘美书院--湘美谈教育4 小时前
湘美书院AI时代的禅悟集:人机智能,反照诸我
大数据·人工智能·深度学习·机器学习·生活
电商API_180079052476 小时前
拍照找同款是怎么实现的?淘宝以图搜图接口 item_search_img 对接实战
大数据·爬虫·数据挖掘·数据分析·代采api
洋洋不叫杨杨7 小时前
Codex 实战:用 AI 写运维脚本
大数据·python
Regentsoft丽晶软件7 小时前
即时零售退货的库存归属、质检标准和退款时效,系统如何做到自动闭环
大数据·经验分享·数据库架构
动恰客流统计7 小时前
线下零售数字化浪潮下,客流统计的3个核心发展趋势
大数据·前端·人工智能