数据中台(大数据平台)之数据质量管理

依据相关的国家标准、行业标准和地方标准,建立科学、客观的数据质量评价体系,充分运用大数据相关技术和机器学习相关理论,实现海量信息的异常探查和智能修复,实时监控数据质量波动,以数据质量通报和考核为抓手,建立数据状态可感知、数据问题可追溯、质量责任可落实的数据质量管理和运营体系。

1.评测模型管理:支持按主题管理数据质量评测模型,支持基于树形结构创建、修改和删除主题,并可以将主题与组织架构关联,支持模型创建、修改、删除和复制,并将模型和数据库关联;支持基于评测对象的新增、查看、编辑和删除功能,并可以设置数据过滤条件,能够设置查询条件和在线查询评测对象的数据,集成数据水印,防止数据泄露,便于安全溯源;支持模型维度的问题数据清除。

2.数据质量评测规则管理:支持图形化定义数据评测规则,覆盖规范性、完整性、准确性、一致性、时效性5大类13小类的质量监测规则。

质量规则管理

3.评测任务管理:针对数据质量评测任务,提供执行策略配置。支持独立执行或聚合执行数据质量模型,支持可视化定义质量评测任务的执行策略,包括天、周、月、时间间隔等维度。

4.问题数据管理:为了确保数据质量管理安全可控,系统支持模型维度问题数据查看、导出、历史查看等功能,支持同一模型下不同维度的问题数据展示,包括评测数据量、评测规则数量、问题总数以及待修复、已关闭等各个环节的问题数据分析。支持显示问题数据描述、错误描述等信息

5.问题数据派发:平台支持按来源部门派发、按责任人派发、指定对象派发三种问题数据派发方式,满足不同场景的问题数据溯源要求。

相关推荐
随身数智备忘录8 分钟前
拆解安全生产法三大核心功能,安全生产法如何解决责任不清与事故追责难
大数据·人工智能·安全
少司府10 分钟前
Tools相关:深入浅出学Git
大数据·c++·git·gitee·github·仓库·分支
多年小白17 分钟前
今日A股 拉
大数据·人工智能·深度学习·microsoft·ai
2401_8685347819 分钟前
论快速应用开发方法及应用
大数据·python
humors22124 分钟前
听劝和辨劝
大数据·程序人生
cy_cy00228 分钟前
地砖感应屏在数字展厅的应用实践
大数据·科技·人机交互·交互·软件构建
扫地的小何尚29 分钟前
掌握 Agentic AI 技术:AI Agent 定制方法全景与实践路径
大数据·人工智能·算法·ai·llm·agent·nvidia
互联圈运营观察30 分钟前
泛微发布300+可落地AI应用 让组织业务数智升级
大数据·人工智能
阿星AI工作室9 小时前
刘润年中大课笔记:一句话说清AI落地之战的本质
大数据·人工智能·创业创新·商业
1892280486113 小时前
NY352固态MT29F32T08GWLBHD6-24QJ:B
大数据·服务器·人工智能·科技·缓存