【华为数据之道学习笔记】3-11元数据管理

1. 产生元数据

(1)明确业务元数据、技术元数据和操作元数据之间的关系,定义华为公司元数据模型。
(2)针对找数据及获取数据难的痛点,明确业务元数据、技术元数据、操作元数据的设计原则。
1)业务元数据设计原则
一个主题域分组下有多个主题域,一个主题域下有多个业务对象,一个业务对象下有多个逻辑实体,一个逻辑实体下有多个属性,一个属性有一个数据标准。
每个数据标准可被一个或多个属性引用,每个属性归属于一个逻辑实体,每个逻辑实体归属于一个业务对象,每个业务对象归属于一个主题域,每个主题域归属于一个主题域分组。
2)技术元数据设计原则
物理表设计须满足三范式,如为了降低系统的总体资源消耗,提高查询效率,可反范式设计。
物理表、视图和字段的设计须基于用途进行分类。
承载业务用途的物理表、虚拟表、视图必须与逻辑实体一一对应,承载业务用途的字段必须与属性一一对应。系统间的数据传递须优先采用数据服务。
3)操作元数据设计原则
日志目的不同的进行分类设计,日志目的相同的进行相同设计(非自研场景按软件包适配)。
(3)规范数据资产管理,设计数据资产编码规范
1)数据资产编码规范
华为数据资产编码的主要包括业务元数据和技术元数据两大类,其中业务元数据包含主题域分组、主题域、业务对象、逻辑实体、属性、数据标准;技术元数据包含物理数据库、Schema、表、字段。具体的定义与描述如表所示。

2)数据资产编码原则
数据资产编码(DAN)是通过一组数字、符号等组成的字符串去唯一标识华为公司内部每一个数据资产,基于此唯一标识,保证各业务领域对同一数据资产的理解和使用一致,它的设计遵循以下原则。

  • 统一性原则: 华为公司内部只能使用一套数据资产编码,以方便不同业务部门之间的沟通和IT应用之间的数据交换。
  • 唯一性原则: 每一个数据资产只能用唯一的数据资产编码进行标识,不同数据资产的编码不允许重复,同一个编码也只能对应到一个数据资产上。
  • 可读性原则: 数据资产编码作为数据资产分类、检索的关键词和索引,需要具备一定的可读性,让用户通过编码就能初步判断其对应的数据资产类型。
  • 扩展性原则: 数据资产的编码要从数据管理角度适当考虑未来几年的业务发展趋势,其编码长度要能适当扩展,同时不影响整个编码体系。

3)业务元数据资产编码规则
业务元数据资产编码规则主要包含三个部分:第一部分为主题域分组的编码规则,主题域分组的编码由公司统一分配;第二部分为主题域、业务对象、逻辑实体、属性的编码规则,这部分主要由数据治理平台按照编码规则自动生成;第三部分主要为业务元数据包含的子类对应的数据资产类型代码。

2. 采集元数据

元数据采集是指从生产系统、IT设计平台等数据源获取元数据,对元数据进行转换,然后写入元数据中心的过程。元数据的来源可分为如表3-3所示的六类。
1)选择适配器
适配器是指针对不同的元数据来源,采用相应的采集方式获取元数据的程序,元数据的来源种类繁多,因而须选择相对应的适配器及元模型。
2)配置数据源
配置数据源是采集元数据的关键,在确定数据源所选择的适配器类型、适配器版本、元模型的基础上,配置数据源的名称、连接参数和描述。
3)配置采集任务
采集任务为自动调度的工作单元,为元数据的采集提供自动化的、周期性的、定时的触发机制。

3. 注册元数据

大多数企业的数字化建设都存在增量和存量两种场景,如何同时有效地管理这两种场景下的元数据就成了问题的关键。华为通过标准的元数据注册规范和统一的元数据注册方法,实现了两种场景下业务元数据和技术元数据的高效连接,使业务人员能看懂数据、理解数据,并通过数据底座实现数据的共享与消费。
(1)元数据注册原则
元数据注册的原则包括如下三点:

  • 数据Owner负责,是谁的数据就由谁负责业务元数据和技术元数据连接关系的建设和注册发布;
  • 按需注册,各领域数据管理部根据数据搜索、共享的需求,推进元数据注册;
  • 注册的元数据的信息安全密级为内部公开。

(2)元数据注册规范
通过"元数据注册三步法"完成元数据注册。

1)准备度评估项包括如下检查要点:

  • IT系统名称必须是公司标准名称;
  • 数据资产目录是否经过评审并正式发布;
  • 数据Owner是否确定数据密级;
  • 物理表/虚拟表/视图名。

2)元数据连接需遵从以下规范。

  • 逻辑实体和物理表/虚拟表/视图一对一连接规范:在业务元数据与技术元数据连接的过程中,必须遵从逻辑实体和物理表/虚拟表/视图一对一的连接原则,如果出现一对多、多对一或多对多的情况,各领域需根据实际场景,参照元数据连接的设计模式进行调整。
  • 业务属性与字段一对一连接规范:除了逻辑实体与物理表/虚拟表/视图要求一一对应外,属性和非系统字段(具备业务含义)也要求遵从一对一的连接原则,如出现属性与字段匹配不上的情况,可参考元数据关联的设计模式进行调整。
  • 完成元数据注册后,通过元数据中心自动发布。

(3)元数据注册方法
元数据注册分为增量元数据注册和存量元数据注册两种场景。
增量场景相对容易,在IT系统的设计与开发过程中,落实元数据的相关规范,确保系统上线时即完成业务元数据与技术元数据连接,通过元数据采集器实现元数据自动注册。
针对存量场景,华为设计了元数据注册的四大模式。在符合元数据设计规范的前提下,进行业务元数据与技术元数据的连接及注册。
模式一:一对一模式
适用场景 适用于数据已发布信息架构和数据标准且物理落地,架构、标准与物理落地能一一对应的场景。
解决方案

  • 将逻辑实体和物理表一对一连接。
  • 逻辑实体属性和物理表字段一对一连接。

模式二:主从模式
适用场景
适用于主表和从表结构一致,但数据内容基于某种维度分别存储在不同物理表中的场景。例如,按时间或项目归档,或按区域进行分布式存储。
解决方案

  • 识别主物理表和从属物理表。
  • 以主物理表为核心,纵向UNION所有从属物理表,并固化为视图。
  • 将视图、逻辑实体、字段和业务属性一对一连接。

模式三:主扩模式
适用场景
适用于逻辑实体的大部分业务属性在主物理表,少数属性在其他物理表中的场景。
解决方案

  • 识别主物理表和扩展物理表。
  • 以主物理表为核心,横向JOIN所有扩展物理表,完成扩展属性与主表的映射,并固化为视图。
  • 将视图、逻辑实体、字段和业务属性一对一连接。

模式四:父子模式
适用场景
适用于多个逻辑实体业务属性完全相同,按不同场景区分逻辑实体名称,但落地在同一张物理表的场景。
解决方案

  • 识别一张物理表和对应的多个逻辑实体。
  • 将物理表按场景拆分和多个逻辑实体一对一连接。
  • 将物理表字段和多个逻辑实体属性一对一连接。

4. 运维元数据

运维元数据是为了通过对元数据进行分析,发现数据注册、设计、使用的现状及问题,确保元数据的完整、准确。通过数据资产分析,了解各区域/领域的数据注册情况,进而发现数据在各信息系统使用过程中存在的问题。通过业务元数据与技术元数据的关联分析,反向校验架构设计与落地的实施情况,检查公司数据管理政策的执行情
况。
主要分为如下四个场景。

  • 场景一:基于数据更新发现,数据源上游创建,下游更新;
  • 场景二:通过数据调用次数发现,某数据源上游调用次数<下游调用次数;
  • 场景三:虽制定了架构标准,但不知落地情况,比如某个属性建立了数据标准,但是却找不到对应落地的物理表字段;
  • 场景四:通过物理表的字段分析,发现很多字段缺少数据标准。
相关推荐
找方案8 天前
智慧政务数据中台建设及运营解决方案
大数据·政务·数据中台·智慧政务
靠谱杨9 天前
数据仓库、大数据平台和数据中台都是指什么
大数据·数据仓库·etl工程师·数据中台
程序媛一枚~9 天前
2024153读书笔记|《春烂漫:新平摄影作品选》——跳绳酷似人生路,起落平常,进退平常,莫惧征途万里长
读书笔记·诗集·诗词·中国文化古典诗词品鉴·春烂漫:新平摄影作品选·新平
Leo.yuan14 天前
35页PDF | 元数据与数据血缘落地实施(限免下载)
数据中台·元数据·数据血缘
Leo.yuan24 天前
26页PDF | 数据中台能力框架及评估体系解读(限免下载)
数据中台
isNotNullX2 个月前
数据中台一键大解析!
大数据·数据库·数据仓库·信息可视化·数据中台
三花学编程2 个月前
《左耳听风--传奇程序员练级攻略》读书笔记一
读书笔记
一条晒干的咸魚3 个月前
数据技术进化史:从数据仓库到数据中台再到数据飞轮的旅程
数据仓库·数据·数据中台·数据飞轮
乙真仙人3 个月前
数据中台!企业的必备还是可有可无?(附数据中台构建完整脑图)
大数据·数据中台
不叫猫先生3 个月前
从数据仓库到数据飞轮:数据技术演进的探索与思考
大数据·数据仓库·spark·数据中台·数据飞轮