数据中台(大数据平台)之数据质量管理

依据相关的国家标准、行业标准和地方标准,建立科学、客观的数据质量评价体系,充分运用大数据相关技术和机器学习相关理论,实现海量信息的异常探查和智能修复,实时监控数据质量波动,以数据质量通报和考核为抓手,建立数据状态可感知、数据问题可追溯、质量责任可落实的数据质量管理和运营体系。

1.评测模型管理:支持按主题管理数据质量评测模型,支持基于树形结构创建、修改和删除主题,并可以将主题与组织架构关联,支持模型创建、修改、删除和复制,并将模型和数据库关联;支持基于评测对象的新增、查看、编辑和删除功能,并可以设置数据过滤条件,能够设置查询条件和在线查询评测对象的数据,集成数据水印,防止数据泄露,便于安全溯源;支持模型维度的问题数据清除。

2.数据质量评测规则管理:支持图形化定义数据评测规则,覆盖规范性、完整性、准确性、一致性、时效性5大类13小类的质量监测规则。

质量规则管理

3.评测任务管理:针对数据质量评测任务,提供执行策略配置。支持独立执行或聚合执行数据质量模型,支持可视化定义质量评测任务的执行策略,包括天、周、月、时间间隔等维度。

4.问题数据管理:为了确保数据质量管理安全可控,系统支持模型维度问题数据查看、导出、历史查看等功能,支持同一模型下不同维度的问题数据展示,包括评测数据量、评测规则数量、问题总数以及待修复、已关闭等各个环节的问题数据分析。支持显示问题数据描述、错误描述等信息

5.问题数据派发:平台支持按来源部门派发、按责任人派发、指定对象派发三种问题数据派发方式,满足不同场景的问题数据溯源要求。

相关推荐
Elastic 中国社区官方博客4 分钟前
使用 Elasticsearch 提升 Copilot 能力
大数据·数据库·elasticsearch·搜索引擎·全文检索·copilot·mcp
F36_9_36 分钟前
如何高效实现公司文件管理
大数据·数据库·人工智能
武子康2 小时前
大数据-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog
大数据·后端·apache hive
白总Server3 小时前
Web 架构之 GraphQL 与 REST API 对比与选型
java·大数据·前端·javascript·后端·架构·graphql
IT技术范3 小时前
2025商旅平台排行:国内主流商旅平台解析
大数据·人工智能
天氰色等烟雨3 小时前
Spring AI 聊天记忆功能实战(二):自定义 Redis 聊天记忆外部存储实现
大数据
天氰色等烟雨3 小时前
Spring AI 聊天记忆功能实战(一):从接口设计到生产实践
大数据
安心联-车辆监控管理系统3 小时前
渣土车辆定位与监管:科技赋能城市建筑垃圾管理
大数据·人工智能·科技
百胜软件@百胜软件4 小时前
深度融合数智化,百胜软件联合华为云加速零售行业转型升级
大数据·华为云·零售
学不好python的小猫5 小时前
Flink 词频统计
大数据·flink