数据中台(大数据平台)之数据质量管理

依据相关的国家标准、行业标准和地方标准,建立科学、客观的数据质量评价体系,充分运用大数据相关技术和机器学习相关理论,实现海量信息的异常探查和智能修复,实时监控数据质量波动,以数据质量通报和考核为抓手,建立数据状态可感知、数据问题可追溯、质量责任可落实的数据质量管理和运营体系。

1.评测模型管理:支持按主题管理数据质量评测模型,支持基于树形结构创建、修改和删除主题,并可以将主题与组织架构关联,支持模型创建、修改、删除和复制,并将模型和数据库关联;支持基于评测对象的新增、查看、编辑和删除功能,并可以设置数据过滤条件,能够设置查询条件和在线查询评测对象的数据,集成数据水印,防止数据泄露,便于安全溯源;支持模型维度的问题数据清除。

2.数据质量评测规则管理:支持图形化定义数据评测规则,覆盖规范性、完整性、准确性、一致性、时效性5大类13小类的质量监测规则。

质量规则管理

3.评测任务管理:针对数据质量评测任务,提供执行策略配置。支持独立执行或聚合执行数据质量模型,支持可视化定义质量评测任务的执行策略,包括天、周、月、时间间隔等维度。

4.问题数据管理:为了确保数据质量管理安全可控,系统支持模型维度问题数据查看、导出、历史查看等功能,支持同一模型下不同维度的问题数据展示,包括评测数据量、评测规则数量、问题总数以及待修复、已关闭等各个环节的问题数据分析。支持显示问题数据描述、错误描述等信息

5.问题数据派发:平台支持按来源部门派发、按责任人派发、指定对象派发三种问题数据派发方式,满足不同场景的问题数据溯源要求。

相关推荐
专注API从业者7 小时前
基于 Node.js 的淘宝 API 接口开发:快速构建异步数据采集服务
大数据·前端·数据库·数据挖掘·node.js
测试专家9 小时前
ARINC 825板卡的应用
大数据·网络·安全
2501_9248772110 小时前
强逆光干扰漏检率↓78%!陌讯多模态融合算法在光伏巡检的实战优化
大数据·人工智能·算法·计算机视觉·目标跟踪
小白不想白a10 小时前
【Hadoop】YARN、离线计算框架MapReduce、Hive
大数据·hive·hadoop·mapreduce·yarn
2501_9248773511 小时前
智慧零售漏扫率↓79%!陌讯多模态融合算法在智能收银与货架管理的实战解析
大数据·人工智能·算法·目标检测·边缘计算·零售
小鹿的工作手帐12 小时前
有鹿机器人如何用科技与创新模式破解行业难题
大数据·人工智能·科技·机器人
thesky12345613 小时前
Agno Agent
大数据·人工智能·深度学习
IT果果日记14 小时前
没有Kafka怎么办?Flink SQL 创建 mysql-cdc 作业
大数据·后端·flink
siliconstorm.ai15 小时前
穿越周期:AIoT产业的真实突破口与实践路径
大数据·人工智能
数据智研15 小时前
【数据分享】安徽省安庆市地理基础数据(道路、水系、铁路、行政边界(含乡镇)、DEM等)
大数据