数据质量

lovep12 个月前
论文阅读·数据质量·大模型算法
Data Filtering Network 论文阅读和理解目录一、TL;DR二、Introduction2.1 apple的结论2.2 业界做法:2.3 我们的做法(Apple)
Aloudata3 个月前
大数据·数据分析·数据质量·noetl
NoETL 自动化指标平台如何保障数据质量和口径一致性?随着敏捷商业智能(BI)、用户行为分析、A/B测试等现代数据分析工具的发展,越来越多的业务用户能够自助式地利用数据分析,进行业务决策和判断,这一趋势极大地挖掘并释放了数据的潜在价值。然而,这种数据使用的分散化趋势也带来了新的问题,即数据口径和定义的不一致性,直接削弱了数据分析的可信度与准确性,数据质量难以得到有效保障。
Shaidou_Data5 个月前
网络·安全·web安全·数据治理·数据质量·数据资源
安全无界:跨行业视角下的数据治理与网络安全实践在数字化转型的浪潮中,数据已成为各行各业发展的核心驱动力。随着金融、医疗、教育、制造、零售等行业的深度融合与跨界合作,数据治理与网络安全面临着前所未有的挑战与机遇。如何在跨行业的视角下,实现数据的安全共享与高效利用,成为当前亟待解决的问题。本文将从数据治理的重要性、跨行业数据互联互通的挑战、以及网络安全实践三个方面,探讨安全无界的跨行业数据治理与网络安全实践。
张永清7 个月前
数据资产管理·数据质量
《数据资产管理核心技术与应用》读书笔记-第四章:数据质量的技术实现(三)《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9~10章主要从实战的角度介绍数据资产管理技术的应用实践,包括如何对元数据进行管理以发挥出数据资产的更大潜力,以及如何对数据进行建模以挖掘出数据中更大的价值。
孙朝和7 个月前
大数据·数据治理·数据质量
入门指南 | Datavines 安装部署篇摘要:本文主要介绍基于源码部署 Datavines 和执行检查作业,内容主要分为以下几个部分:Datavines 的目标是成为更好的数据可观测性领域的开源项目,为更多的用户去解决元数据管理和数据质量管理中遇到的问题。在此我们真诚欢迎更多的贡献者参与到社区建设中来,和我们一起成长,携手共建更好的社区。
daopuyun7 个月前
大数据·安全·信息可视化·数据质量
大数据数据血缘是什么,跟数据质量有什么关系?从下面这张表我们可以引出一个数据血缘的概念。数据血缘:数据的来龙去脉,主要包含数据的来源、数据的加工方式、映射关系以及数据出口。
张永清7 个月前
大数据·数据资产管理·数据质量
《数据资产管理核心技术与应用》读书笔记-第四章:数据质量的技术实现(二)《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9~10章主要从实战的角度介绍数据资产管理技术的应用实践,包括如何对元数据进行管理以发挥出数据资产的更大潜力,以及如何对数据进行建模以挖掘出数据中更大的价值。
张永清8 个月前
数据资产管理·数据质量
《数据资产管理核心技术与应用》读书笔记-第四章:数据质量的技术实现(一)《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9~10章主要从实战的角度介绍数据资产管理技术的应用实践,包括如何对元数据进行管理以发挥出数据资产的更大潜力,以及如何对数据进行建模以挖掘出数据中更大的价值。
罗少说1 年前
数据仓库·hive·数据质量
hive数据质量规范当谈到大数据处理和分析时,数据质量成为至关重要的因素。Hive作为一种常用的大数据查询和分析工具,也需要遵循一定的数据质量规范以确保数据的准确性、一致性和可靠性。本文将介绍Hive数据质量规范的相关内容,并提供代码示例来说明如何在Hive中实施数据质量规范。
数据与后端架构提升之路1 年前
数据质量
数据中台之数据质量
驾数者2 年前
大数据·数据仓库·指标体系·数据质量
数据仓库-核心概念数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量及控制。