元数据管理:先想清楚“为什么“,再谈“怎么做“

一、元数据管理目的

"让散落在各系统与文件中的数据/信息变成可检索、可理解、可信赖、可复用、可运营的数据资产"。

|-------|-------------------------------|
| | 解读 |
| 让 | 元数据管理只是手段,是转换资产的杠杆 |
| 数据/信息 | 原始数据只是数据资源,并非数据资产 |
| 可检索 | 有入口进行查询,回答的是数据在哪 |
| 可理解 | 回答的是这数据是什么,如何计算的 |
| 可信赖 | 有正确的数据源头,明确负责人,高质量资产、标准化、数据安全 |
| 可复用 | 回答的是已有的资产是否能直接使用,减少重复建设 |
| 可运营 | 回答的是这套秩序能持续运营,最终反馈的是业务成效 |
[目的描述解读]

巴拉巴拉这么多,这是我对元数据管理目的的理解。知道目的后再来反推元数据是什么,为什么值得管理。

二、元数据概念

先放空大脑,设想一个场景:

某日上班接收到同事大聪明的通讯消息:01243 3 1 2

此时是不是懵圈状态?心想这货养的小鸡跑电脑键盘上了吧,这发的是啥玩意...

3分钟后,大聪明又来消息了:哥,帮我看下01243这个员工是否是3号区域、1号基地、2号车间的人员。

这时才反应过来,原来这些数字是这个意思啊!!!

此时元数据概念已经深入大脑了,要开始长脑子了....

元数据是指描述数据的数据。

让你感到困惑的一直都不是数据本身,而是关于数据的信息的缺失,它能告诉你这是什么,怎么算的,从哪来,谁能解释。

没有元数据的数据都是无意义的,它的作用是能让企业更好的了解、管理和使用数据。

继续深入探索...

三、元数据分类

一般情况下,元数据分类可以大致为3种:业务元数据、技术元数据和操作元数据。

3.1.业务元数据

业务元数据描述的业务含义、业务规则等,主要作用是告诉这数据是什么,它的规则该是什么样的。对同一个数据/事物需保持一致的认知。

常见的业务元数据有:

数据集、表、字段的定义和描述

业务规则、转换规则、计算公式和数据质量规则

数据安全/隐私级别

数据资产的使用说明

3.2.技术元数据

技术元数据描述的是数据技术相关的细节,数据的存储和数据流转过程的信息。

常见的技术元数据有:

物理表的名称和字段名称

库/表/字段属性,存储类型、位置、压缩类型

数据血缘关系

任务调度

3.3.操作元数据

操作元数据描述的是处理和访问数据的细节。

常见的操作元数据有:

数据清洗、标准化

数据归档

访问数据的模式、频率和执行时间

版本维护计划和执行情况

所有者、使用者

四、元数据管理的核心能力

常见的核心能力有:

自动化元数据采集

数据资产目录

数据血缘

业务术语表+指标标准

4.1.自动化元数据采集

数据治理项目中,最常见的元数据有业务系统数据源的元数据、数据加工过程的元数据、数据仓库/数据湖的元数据等。

元数据采集需要各类适配器来满足各类元数据的采集需求,当然最常见的还是结构化的数据源。若需要采集半结构或其他数据源还得丰富适配器类型。

4.2.数据资产目录

通过管理元数据,建设数据资产目录,企业能快速发现数据资产的分布和关系。

华为数据架构中的数据资产目录分为5层结构,华为数据治理也是国内大多数企业的标杆,所以都遵守华为的数据资产目录层级结构L1-L5,分别为:

L1:主题域分组

L2:主题域

L3:业务对象

L4:逻辑数据实体

L5:逻辑数据实体属性

具体可查阅:数据目录:三大目录_数据资源目录-CSDN博客

4.3.血缘与影响分析

血缘关系大体分两层。

一是物理层血缘(执行层):库到库、表到表、字段到字段的加工路径,描述数据在技术上的流动,可由采集自动获得。

二是业务语义层血缘:描述业务含义的流动与构成,可用本体建模表达,其形态包括------业务流程血缘(如 采购订单→到货收货→发票校验→付款结算,事件间的因果时序)、业务对象血缘(如 订单信息→收货信息→发票信息→三单匹配校验→付款记录,资产间的派生与校验)以及指标血缘、逻辑实体映射等。

值得注意的是,语义层与物理层结构同构:物理层的加工节点是 ETL 任务,语义层的加工节点是业务规则。

4.4.业务术语表+指标标准

业务术语表、指标定义、口径与计算规则的统一管理,并与技术资产绑定映射,解决"同名不同义、同义不同名",是语义层的核心。

在建设数据资产目录L4/L5时,属性的业务定义先查看术语表,有就引用,没有就作为新术语补录再进行引用挂接。不过企业中建设这个确实极少的,反正我没见过。

指标标准作为标准,本应该归属数据标准管理,但也要对它进行元数据管理,不少企业也将它单独管理,建设指标平台或指标中心。它是数据标准的成果,但这个成果也是靠元数据管理体系来承载。它的存储、版本、检索、服务,全生命周期都在元数据体系内。没有元数据管理,指标标准也就是一份无人消费的信息。

相关推荐
千桐科技11 天前
qData 开源版数据中台 v1.6.2 上线:修复数据连接、元数据与项目管理等多项问题
大数据·开源·数据治理·数据可视化·数据中台·元数据·qdata
Aloudata24 天前
数据治理台账 vs 元数据知识图谱:数据资产如何从文档走向计算化
数据库·人工智能·知识图谱·数据治理·元数据·数据资产·数据血缘
山海云端有限公司2 个月前
全平台视频元数据解析 API:从原理到 Python 实战调用
python·http·api·元数据·视频解析·apizero
程序员三明治3 个月前
【AI】从文本到向量:理解Embedding的作用
java·人工智能·后端·llm·元数据·rag·向量化
wilbertzhou3 个月前
大语言模型时代的语义元数据:从静态资产目录到智能治理
人工智能·llm·大语言模型·数据治理·元数据管理·语义元数据
SL-staff3 个月前
JVS-Rules决策表与规则流设计实战(附源码分析)
源码分析·规则引擎·元数据·决策表·jvs-rules·规则流·可视化设计器
程序员三明治3 个月前
RAG 元数据的作用与管理:让知识库回答可追溯、可过滤、可维护
人工智能·llm·知识库·元数据·rag·java后端
luoyayun3613 个月前
Qt + FFmpeg 实战:获取音视频文件基础属性、流信息和元数据
qt·ffmpeg·音视频·元数据·获取音视频文件属性
千桐科技4 个月前
qData 数据中台社区开源版 v1.4.0 发布:元数据管理核心模块正式上线
开源·数据治理·数据集成·数据开发·数据中台·元数据管理·qdata