元数据管理:先想清楚“为什么“,再谈“怎么做“

一、元数据管理目的

"让散落在各系统与文件中的数据/信息变成可检索、可理解、可信赖、可复用、可运营的数据资产"。

|-------|-------------------------------|
| | 解读 |
| 让 | 元数据管理只是手段,是转换资产的杠杆 |
| 数据/信息 | 原始数据只是数据资源,并非数据资产 |
| 可检索 | 有入口进行查询,回答的是数据在哪 |
| 可理解 | 回答的是这数据是什么,如何计算的 |
| 可信赖 | 有正确的数据源头,明确负责人,高质量资产、标准化、数据安全 |
| 可复用 | 回答的是已有的资产是否能直接使用,减少重复建设 |
| 可运营 | 回答的是这套秩序能持续运营,最终反馈的是业务成效 |
[目的描述解读]

巴拉巴拉这么多,这是我对元数据管理目的的理解。知道目的后再来反推元数据是什么,为什么值得管理。

二、元数据概念

先放空大脑,设想一个场景:

某日上班接收到同事大聪明的通讯消息:01243 3 1 2

此时是不是懵圈状态?心想这货养的小鸡跑电脑键盘上了吧,这发的是啥玩意...

3分钟后,大聪明又来消息了:哥,帮我看下01243这个员工是否是3号区域、1号基地、2号车间的人员。

这时才反应过来,原来这些数字是这个意思啊!!!

此时元数据概念已经深入大脑了,要开始长脑子了....

元数据是指描述数据的数据。

让你感到困惑的一直都不是数据本身,而是关于数据的信息的缺失,它能告诉你这是什么,怎么算的,从哪来,谁能解释。

没有元数据的数据都是无意义的,它的作用是能让企业更好的了解、管理和使用数据。

继续深入探索...

三、元数据分类

一般情况下,元数据分类可以大致为3种:业务元数据、技术元数据和操作元数据。

3.1.业务元数据

业务元数据描述的业务含义、业务规则等,主要作用是告诉这数据是什么,它的规则该是什么样的。对同一个数据/事物需保持一致的认知。

常见的业务元数据有:

数据集、表、字段的定义和描述

业务规则、转换规则、计算公式和数据质量规则

数据安全/隐私级别

数据资产的使用说明

3.2.技术元数据

技术元数据描述的是数据技术相关的细节,数据的存储和数据流转过程的信息。

常见的技术元数据有:

物理表的名称和字段名称

库/表/字段属性,存储类型、位置、压缩类型

数据血缘关系

任务调度

3.3.操作元数据

操作元数据描述的是处理和访问数据的细节。

常见的操作元数据有:

数据清洗、标准化

数据归档

访问数据的模式、频率和执行时间

版本维护计划和执行情况

所有者、使用者

四、元数据管理的核心能力

常见的核心能力有:

自动化元数据采集

数据资产目录

数据血缘

业务术语表+指标标准

4.1.自动化元数据采集

数据治理项目中,最常见的元数据有业务系统数据源的元数据、数据加工过程的元数据、数据仓库/数据湖的元数据等。

元数据采集需要各类适配器来满足各类元数据的采集需求,当然最常见的还是结构化的数据源。若需要采集半结构或其他数据源还得丰富适配器类型。

4.2.数据资产目录

通过管理元数据,建设数据资产目录,企业能快速发现数据资产的分布和关系。

华为数据架构中的数据资产目录分为5层结构,华为数据治理也是国内大多数企业的标杆,所以都遵守华为的数据资产目录层级结构L1-L5,分别为:

L1:主题域分组

L2:主题域

L3:业务对象

L4:逻辑数据实体

L5:逻辑数据实体属性

具体可查阅:数据目录:三大目录_数据资源目录-CSDN博客

4.3.血缘与影响分析

血缘关系大体分两层。

一是物理层血缘(执行层):库到库、表到表、字段到字段的加工路径,描述数据在技术上的流动,可由采集自动获得。

二是业务语义层血缘:描述业务含义的流动与构成,可用本体建模表达,其形态包括------业务流程血缘(如 采购订单→到货收货→发票校验→付款结算,事件间的因果时序)、业务对象血缘(如 订单信息→收货信息→发票信息→三单匹配校验→付款记录,资产间的派生与校验)以及指标血缘、逻辑实体映射等。

值得注意的是,语义层与物理层结构同构:物理层的加工节点是 ETL 任务,语义层的加工节点是业务规则。

4.4.业务术语表+指标标准

业务术语表、指标定义、口径与计算规则的统一管理,并与技术资产绑定映射,解决"同名不同义、同义不同名",是语义层的核心。

在建设数据资产目录L4/L5时,属性的业务定义先查看术语表,有就引用,没有就作为新术语补录再进行引用挂接。不过企业中建设这个确实极少的,反正我没见过。

指标标准作为标准,本应该归属数据标准管理,但也要对它进行元数据管理,不少企业也将它单独管理,建设指标平台或指标中心。它是数据标准的成果,但这个成果也是靠元数据管理体系来承载。它的存储、版本、检索、服务,全生命周期都在元数据体系内。没有元数据管理,指标标准也就是一份无人消费的信息。

相关推荐
螺蛳粉 螺蛳粉3 天前
CDH第四篇:CDH 元数据库实战:MySQL 5.7.22 二进制安装 + 三库三账号授权全记录
hive·mysql5.7·centos7·元数据·cdh·oozie·数据库部署
不剪发的Tony老师5 天前
Apache Atlas:一个企业级元数据管理和数据治理平台
数据治理·元数据管理·数据血缘
森山冶仁9 天前
科技金融数据目录1.0怎么对接企业内部目录:8类26个指标的映射四步法
元数据·金融科技·数据目录·数据标准·数据治理落地实战
喵喵虫12 天前
汉字笔顺笔画元数据导出 JSON
小程序·json·元数据·汉字·笔顺·笔画
智码看视界16 天前
大数据架构解析—数据血缘:从 SQL 解析到字段级溯源,搭建大数据平台数据治理底座
数据治理·neo4j·元数据·sql解析·数据血缘·datalineage·sqlglot
森山冶仁17 天前
把专家抽检变成分钟级全量初审:科学数据审核智能体的召回率与证据链怎么设计
人工智能·数据治理·数据质量·元数据
bkspiderx20 天前
Qt 插件机制:动态扩展应用功能的核心框架
开发语言·qt·元数据·qt 插件·qpluginloader
森山冶仁1 个月前
向量索引也要治理:RAG 系统里“原始数据已作废、向量仍可检索”怎么解
数据治理·向量数据库·数据质量·元数据·rag
千桐科技2 个月前
qData 开源版数据中台 v1.6.2 上线:修复数据连接、元数据与项目管理等多项问题
大数据·开源·数据治理·数据可视化·数据中台·元数据·qdata