数据中台(大数据平台)之数据质量管理

依据相关的国家标准、行业标准和地方标准,建立科学、客观的数据质量评价体系,充分运用大数据相关技术和机器学习相关理论,实现海量信息的异常探查和智能修复,实时监控数据质量波动,以数据质量通报和考核为抓手,建立数据状态可感知、数据问题可追溯、质量责任可落实的数据质量管理和运营体系。

1.评测模型管理:支持按主题管理数据质量评测模型,支持基于树形结构创建、修改和删除主题,并可以将主题与组织架构关联,支持模型创建、修改、删除和复制,并将模型和数据库关联;支持基于评测对象的新增、查看、编辑和删除功能,并可以设置数据过滤条件,能够设置查询条件和在线查询评测对象的数据,集成数据水印,防止数据泄露,便于安全溯源;支持模型维度的问题数据清除。

2.数据质量评测规则管理:支持图形化定义数据评测规则,覆盖规范性、完整性、准确性、一致性、时效性5大类13小类的质量监测规则。

质量规则管理

3.评测任务管理:针对数据质量评测任务,提供执行策略配置。支持独立执行或聚合执行数据质量模型,支持可视化定义质量评测任务的执行策略,包括天、周、月、时间间隔等维度。

4.问题数据管理:为了确保数据质量管理安全可控,系统支持模型维度问题数据查看、导出、历史查看等功能,支持同一模型下不同维度的问题数据展示,包括评测数据量、评测规则数量、问题总数以及待修复、已关闭等各个环节的问题数据分析。支持显示问题数据描述、错误描述等信息

5.问题数据派发:平台支持按来源部门派发、按责任人派发、指定对象派发三种问题数据派发方式,满足不同场景的问题数据溯源要求。

相关推荐
cxf_coding1 小时前
如何使用HiveSQL实现2个字符串间的映射及排序
大数据·hive
鸿乃江边鸟2 小时前
Starrocks 怎么计算各个算子的统计信息
大数据·starrocks·sql
武子康3 小时前
大数据-273 Spark MLib - 基础介绍 机器学习算法 决策树 分类原则 分类原理 基尼系数 熵
大数据·人工智能·算法·决策树·机器学习·spark-ml
尕尕Lula3 小时前
GIT命令行的一些常规操作
大数据·git·elasticsearch
丸卜4 小时前
Hadoop复习(二)
大数据·hadoop·分布式
北漂老男孩5 小时前
Flink CEP实践总结:使用方法、常见报错、优化与难点应对
大数据·flink·学习方法
卓豪终端管理5 小时前
如何保护网络免受零日漏洞攻击?
大数据·服务器·网络·人工智能·安全·web安全
Hy行者勇哥5 小时前
从零起步搭建基于华为云构建碳排放设备管理系统的产品设计
大数据·人工智能·嵌入式硬件·物联网·华为云
ALex_zry6 小时前
Rust并发编程实践指南
大数据·网络·rust
丸卜7 小时前
Hadoop复习(一)
大数据·hadoop