数据中台(大数据平台)之数据质量管理

依据相关的国家标准、行业标准和地方标准,建立科学、客观的数据质量评价体系,充分运用大数据相关技术和机器学习相关理论,实现海量信息的异常探查和智能修复,实时监控数据质量波动,以数据质量通报和考核为抓手,建立数据状态可感知、数据问题可追溯、质量责任可落实的数据质量管理和运营体系。

1.评测模型管理:支持按主题管理数据质量评测模型,支持基于树形结构创建、修改和删除主题,并可以将主题与组织架构关联,支持模型创建、修改、删除和复制,并将模型和数据库关联;支持基于评测对象的新增、查看、编辑和删除功能,并可以设置数据过滤条件,能够设置查询条件和在线查询评测对象的数据,集成数据水印,防止数据泄露,便于安全溯源;支持模型维度的问题数据清除。

2.数据质量评测规则管理:支持图形化定义数据评测规则,覆盖规范性、完整性、准确性、一致性、时效性5大类13小类的质量监测规则。

质量规则管理

3.评测任务管理:针对数据质量评测任务,提供执行策略配置。支持独立执行或聚合执行数据质量模型,支持可视化定义质量评测任务的执行策略,包括天、周、月、时间间隔等维度。

4.问题数据管理:为了确保数据质量管理安全可控,系统支持模型维度问题数据查看、导出、历史查看等功能,支持同一模型下不同维度的问题数据展示,包括评测数据量、评测规则数量、问题总数以及待修复、已关闭等各个环节的问题数据分析。支持显示问题数据描述、错误描述等信息

5.问题数据派发:平台支持按来源部门派发、按责任人派发、指定对象派发三种问题数据派发方式,满足不同场景的问题数据溯源要求。

相关推荐
信安IT租赁11 分钟前
本地化部署的AI营销CRM:基于事件驱动的全流程自动化状态机实践
大数据·人工智能·软件工程
AgentMaster19 分钟前
元数据、血缘、质量、安全四大模块能力拆解,数据治理方案对比:4 种技术路线深度评测
大数据·数据库·数据仓库·人工智能·原型模式
Raas10023 分钟前
AI网关和OpenRouter区别在哪?MAI Gateway(魔芋企业级AI网关)统一治理方案深度解析
大数据·人工智能·gateway·ai网关·mai gateway
海兰33 分钟前
Elasticsearch ES|QL:让全文本搜索无处不在
大数据·elasticsearch·jenkins
智购科技自动贩卖机37 分钟前
自动售货机嵌入式系统安全加固实践:从Go语言国密算法到硬件防拆的工程化落地
大数据·人工智能·后端·安全·golang·系统安全
TDengine (老段)1 小时前
TDgpt 概览 — AI 增强的时序数据库
大数据·数据库·人工智能·物联网·时序数据库·iot·tdengine
IT研究室1 小时前
最新大数据毕业设计选题推荐-基于大数据的城市空气污染物浓度数据分析与可视化-大数据-Spark-Hadoop-Bigdata
大数据·数据分析·课程设计
starzy19903 小时前
Flink基础之Session-Cluster原理详解:共享集群的利与弊
大数据·flink
starzy19903 小时前
Flink基础之Per-Job-Cluster原理详解:被 Application 取代的模式
java·大数据·flink
大大大大晴天10 小时前
每天认识一个组件:数据治理Apache Atlas
大数据