数据治理-数据架构-企业数据架构

是什么

数据架构定义了对组织非常重要元素的标准术语和设计。企业数据架构的设计中包括业务数据描述,如数据的收集、存储、整合、移动和分布。

当数据在组织中通过源或者接口流动时,需要安全、集成、存储、记录、分类、共享的报表和分析,最终交付给利益相关方使用。在这个过程中数据可能会被验证、增强、链接、认证、整合、脱敏处理以及用于分析,直到数据被归档或清除。因此,企业数据架构描述必须包括企业数据模型(如数据结构和数据规范)和数据流设计;

企业数据模型

企业数据模型是一个整体的,企业级的,独立实施的概念或逻辑数据模型,为企业提供通用的,一致的数据视图,通常用于表示高层级简化的数据模型,也表示了不同抽象层级,企业数据模型包括数据实体(如业务概念)、数据实体间关系、关键业务规则和一些关键属性,它为所有数据和数据相关的项目奠定了基础,任何项目级的数据模型必须基于企业数据模型设计,企业数据模型应该由利益相关方审核,以便它能一致有效地代表企业。

数据流设计

数据流设计,定义数据库、应用、平台和网络之间的需求和主蓝图,这些数据流展示了数据在业务流程、不同存储位置、业务角色和技术组件间的流动。

这两种模型需要互相配合,如前面所提到的,这两个模型都需要反映当前状态和目标状态(架构视角)及过渡状态(项目视角)

构建方式

企业数据模型

有些组织将企业数据模型创建为单独的构件,还有些组织认为数据模型是由不同角度和不同层级的细节组成,这些细节一致地描述了组织对企业内数据实体、数据属性和它们之间关系的理解。企业数据模型包括通用的(企业范围的概念和逻辑模型)和特定于应用或具体项目的数据模型及其定义、规范、映射和业务规则。

采用行业标准模型能够加快开发企业数据模型的效率。这些模型提供了有用的指南和参考。然而,即使组织已经开始着手购买数据模型,但涉及企业级的数据模型仍需要大量的投资。其工作包括定义和管理企业词汇、业务规则和企业知识。企业级数据模型设计、开发完成后,后继维护和丰富企业数据模型也仍然需要投入持续的时间和精力。

需要设计企业数据模型的组织,必须决定投入多少时间和精力到构建和维护企业数据模型上。通过企业数据模型可以构建不同的层级、资源的可用性将影响其构建范围。随着时间的推移,企业需求会发生变化,随之带来企业数据模型中的范围和各层级中内容通常会扩张。对大多成功的企业数据模型会利用不同层级增量和迭代的方式来构建。

其中内容包括:

  1. 企业主题域的概念概述;
  2. 各主题域的实体和关系概述;
  3. 归属于同一主题域的详细逻辑概述;
  4. 具体到应用或仙姑的逻辑和物理模型。

各层级的模型是企业数据模型的组成部分,模型链接定义和管理了模型的纵向从上到下以及横向之间的关联路径 。

  1. 纵向,不同层级模型之间的映射,例如,项目的物理模型中定义的"移动设备"存储的数据表/数据文件,可以和项目的逻辑模型中的移动设备实体对应,可以和企业逻辑模型中的产品主题域的移动设备实体,产品主题域模型中的概念实体以及企业概念模型中的产品实体相关联。
  2. 横向,同一个实体和关系可能出现阿奇同一层级的多个模型中,位于一个主题域中的逻辑模型中的实体可以和其他主题域中的实体相关联,在模型图中标记为其他主题域的外键,例如,一个产品的部分实体可以出现在产品主题域模型中,也可以以外部关联的形式出现在销售订单,库存和营销主题域中

因此,企业概念数据模型是主题域模型相结合构建的,每个企业数据模型既可以采用自上而下,也可以采用自下而上进行构建,自上而下是从主题域开始,先设计主题,再逐步设计下层模型,而采用自下而上的方法时,主题域结构则是基于现有逻辑数据模型向上提炼抽象而成,通常推荐两种方法相结合,即自下而上地分析现有模型开始,自上而下地设计主题模型,通过两种方法的结合来共同完成企业数据模型的设计工作。

数据流设计

数据流是一种记录数据血缘的数据加工过程,用于描述数据如何在业务流程和系统中流动。端到端的数据流包含了数据起源于哪里,在哪里存储和使用,在不同流程和系统内或之间如何转换,数据血缘分析有助于解释数据流中某一点的数据状态;

数据流映射记录了数据与以下内容的联系:

  1. 业务流程中的应用;
  2. 某个环境中的数据存储或数据库;
  3. 网段(有助于安全映射);
  4. 业务角色(描述哪些角色有职责创建、更新和删除数据);
  5. 出现局部差异的位置。
相关推荐
58沈剑5 小时前
80后聊架构:架构设计中两个重要指标,延时与吞吐量(Latency vs Throughput) | 架构师之路...
架构
想进大厂的小王7 小时前
项目架构介绍以及Spring cloud、redis、mq 等组件的基本认识
redis·分布式·后端·spring cloud·微服务·架构
阿伟*rui8 小时前
认识微服务,微服务的拆分,服务治理(nacos注册中心,远程调用)
微服务·架构·firefox
ZHOU西口9 小时前
微服务实战系列之玩转Docker(十八)
分布式·docker·云原生·架构·数据安全·etcd·rbac
deephub11 小时前
Tokenformer:基于参数标记化的高效可扩展Transformer架构
人工智能·python·深度学习·架构·transformer
架构师那点事儿12 小时前
golang 用unsafe 无所畏惧,但使用不得到会panic
架构·go·掘金技术征文
W Y15 小时前
【架构-37】Spark和Flink
架构·flink·spark
Gemini199515 小时前
分布式和微服务的区别
分布式·微服务·架构
Dann Hiroaki1 天前
GPU架构概述
架构
茶馆大橘1 天前
微服务系列五:避免雪崩问题的限流、隔离、熔断措施
java·jmeter·spring cloud·微服务·云原生·架构·sentinel