一、元数据管理目的
"让散落在各系统与文件中的数据/信息变成可检索、可理解、可信赖、可复用、可运营的数据资产"。
|-------|-------------------------------|
| | 解读 |
| 让 | 元数据管理只是手段,是转换资产的杠杆 |
| 数据/信息 | 原始数据只是数据资源,并非数据资产 |
| 可检索 | 有入口进行查询,回答的是数据在哪 |
| 可理解 | 回答的是这数据是什么,如何计算的 |
| 可信赖 | 有正确的数据源头,明确负责人,高质量资产、标准化、数据安全 |
| 可复用 | 回答的是已有的资产是否能直接使用,减少重复建设 |
| 可运营 | 回答的是这套秩序能持续运营,最终反馈的是业务成效 |
[目的描述解读]
巴拉巴拉这么多,这是我对元数据管理目的的理解。知道目的后再来反推元数据是什么,为什么值得管理。
二、元数据概念
先放空大脑,设想一个场景:
某日上班接收到同事大聪明的通讯消息:01243 3 1 2
此时是不是懵圈状态?心想这货养的小鸡跑电脑键盘上了吧,这发的是啥玩意...
3分钟后,大聪明又来消息了:哥,帮我看下01243这个员工是否是3号区域、1号基地、2号车间的人员。
这时才反应过来,原来这些数字是这个意思啊!!!
此时元数据概念已经深入大脑了,要开始长脑子了....
元数据是指描述数据的数据。
让你感到困惑的一直都不是数据本身,而是关于数据的信息的缺失,它能告诉你这是什么,怎么算的,从哪来,谁能解释。
没有元数据的数据都是无意义的,它的作用是能让企业更好的了解、管理和使用数据。
继续深入探索...
三、元数据分类
一般情况下,元数据分类可以大致为3种:业务元数据、技术元数据和操作元数据。
3.1.业务元数据
业务元数据描述的业务含义、业务规则等,主要作用是告诉这数据是什么,它的规则该是什么样的。对同一个数据/事物需保持一致的认知。
常见的业务元数据有:
数据集、表、字段的定义和描述
业务规则、转换规则、计算公式和数据质量规则
数据安全/隐私级别
数据资产的使用说明
3.2.技术元数据
技术元数据描述的是数据技术相关的细节,数据的存储和数据流转过程的信息。
常见的技术元数据有:
物理表的名称和字段名称
库/表/字段属性,存储类型、位置、压缩类型
数据血缘关系
任务调度
3.3.操作元数据
操作元数据描述的是处理和访问数据的细节。
常见的操作元数据有:
数据清洗、标准化
数据归档
访问数据的模式、频率和执行时间
版本维护计划和执行情况
所有者、使用者
四、元数据管理的核心能力
常见的核心能力有:
自动化元数据采集
数据资产目录
数据血缘
业务术语表+指标标准
4.1.自动化元数据采集
数据治理项目中,最常见的元数据有业务系统数据源的元数据、数据加工过程的元数据、数据仓库/数据湖的元数据等。
元数据采集需要各类适配器来满足各类元数据的采集需求,当然最常见的还是结构化的数据源。若需要采集半结构或其他数据源还得丰富适配器类型。
4.2.数据资产目录
通过管理元数据,建设数据资产目录,企业能快速发现数据资产的分布和关系。
华为数据架构中的数据资产目录分为5层结构,华为数据治理也是国内大多数企业的标杆,所以都遵守华为的数据资产目录层级结构L1-L5,分别为:
L1:主题域分组
L2:主题域
L3:业务对象
L4:逻辑数据实体
L5:逻辑数据实体属性
具体可查阅:数据目录:三大目录_数据资源目录-CSDN博客
4.3.血缘与影响分析
血缘关系大体分两层。
一是物理层血缘(执行层):库到库、表到表、字段到字段的加工路径,描述数据在技术上的流动,可由采集自动获得。
二是业务语义层血缘:描述业务含义的流动与构成,可用本体建模表达,其形态包括------业务流程血缘(如 采购订单→到货收货→发票校验→付款结算,事件间的因果时序)、业务对象血缘(如 订单信息→收货信息→发票信息→三单匹配校验→付款记录,资产间的派生与校验)以及指标血缘、逻辑实体映射等。
值得注意的是,语义层与物理层结构同构:物理层的加工节点是 ETL 任务,语义层的加工节点是业务规则。
4.4.业务术语表+指标标准
业务术语表、指标定义、口径与计算规则的统一管理,并与技术资产绑定映射,解决"同名不同义、同义不同名",是语义层的核心。
在建设数据资产目录L4/L5时,属性的业务定义先查看术语表,有就引用,没有就作为新术语补录再进行引用挂接。不过企业中建设这个确实极少的,反正我没见过。
指标标准作为标准,本应该归属数据标准管理,但也要对它进行元数据管理,不少企业也将它单独管理,建设指标平台或指标中心。它是数据标准的成果,但这个成果也是靠元数据管理体系来承载。它的存储、版本、检索、服务,全生命周期都在元数据体系内。没有元数据管理,指标标准也就是一份无人消费的信息。