10分钟了解数据架构、数据模型

写在前面:很多小伙伴分不清数据架构与数据模型,同时如何做好数据建模也有一定的疑问

1. 数据架构、数据模型、数据建模区别与联系

企业架构包含业务架构、数据架构、应用架构和技术架构。数据架构的主要目标是有效的管理数据,以及有效地管理存储和使用数据的系统。

数据架构的构件包括:

  • 当前状态的描述
  • 数据需求的定义
  • 数据整合的指引
  • 数据管控策略中要求的数据资产管理规范

详细的数据架构设计文件是正式的企业数据模型,包含数据名称、数据属性、元数据定义、概念和逻辑实体、关系以及业务规则。

物理数据模型也属于数据架构文件,但是物理数据模型是数据建模和设计的产物,而不是数据架构的产物。

数据建模:是数据设计模型的过程,是动词。

数据模型:是数据建模的输出,是成果、是文件

数据架构:定义了对组织非常重要元素的标准术语和设计。企业数据架构的设计中包括业务数据描述,如数据的收集、存储、整合、移动和分布。企业的数据架构必须包含数据模型和数据流设计。可以将架构理解为数据模型的高层级概括,数据模型作为数据架构的子文件

2. 数据架构

概念:识别企业的数据需求,并设计和维护总蓝图以满足这些需求。使用总蓝图来指导数据集成、控制数据资产,并使数据投资与业务战略保持一致。

以下是DAMA给出的数据架构语境关系图

从交付成果可以看出,数据架构包含数据流、企业数据模型,另外还包含数据架构设计、数据价值链、实施路线图。

2.1 工作内容

建立企业数据架构一般包括以下工作,这些工作可以串行或并行

1)战略。选择框架,制定方法,开发路线图

企业数据架构路线图描述了架构3~5年的发展路径。考虑到实际情况和技术评估,路线图和业务需求共同将目标架构变为现实。企业数据架构路线图必须与企业架构路线图相整合,企业架构路线图包括:高层次里程碑事件、所需资源、成本评估、业务能力工作流划分。路线图应以数据管理成熟度评估为指导。

2)沟通与文化。建立沟通机制,并激励积极参与者。

参考系统集成项目管理中规划沟通、管理沟通、沟通控制。

3)组织:通过明确责任和职责来组织数据框架工作。

4)工作方法。与企业架构保持一致,在开发项目中定义最佳实践并执行数据架构工作。

5)结果。在总体路线图中产出数据架构产品。

2.2 实施指南

1)建立企业数据架构团队和举办问题讨论会。

2)生成数据架构构件的初始版本。例如,企业数据模型、企业范围数据流和路线图。

3)在开发项目中,形成和建立数据架构工作方式。

4)提高组织对数据架构工作价值的认识。

3. 数据模型

数据模型有助于组织能够理解其数据资产。数据可以采用多种不同的模式来表示。其中最为常见的6种模式分别是:关系模式、多维模式、面向对象模式、事实模式、时间序列模式和NoSQL模式。按照描述详细程度的不同,每种模式又可以分为3层模型:概念模型、逻辑模型和物理模型。每种模型都包含一系列组件,如实体、关系、事实、键和属性。

在DAMA中提到主题域模型,主题域结构则是基于现有逻辑数据模型向上提炼抽象而成。

每个企业数据模型既可以采用自上而下,也可以采用自下而上的方法进行构建。自上而下是从主题域开始,先设计主题,再逐步设计下层模型。而采用自下而上的方法时,通常推荐两种方法相结合,即自下而上地从分析现有模型开始,自上而下地设计主题模型,通过两种方法的结合来共同完成企业数据模型的设计工作。

3.1 数据建模

其实可以虚拟一套系统场景,利用建模软件多画几个图,就都熟悉了。建模软件有Navicat\Visio\Word及专业的数据库软件或数据治理软件。软件 多用几次,功能模块基本相似,有数据模型缩略图、模型转换、各种实体和关系的表示、导入导出等。主要还是理解需求及关系!

3.1.1 正向工程

正向工程是指从需求开始构建新应用程序的过程。首先需要通过建立概念模型来理解需求的范围和核心的术语;然后建立逻辑模型来详细描述业务过程;最后是通过具体的建表语句来实现物理模型。

创建概念数据模型步骤:选择模型类型、选择表示方法、完成初始概念模型......

创建逻辑数据模型步骤:分析信息需求、分析现有文档、添加关联实体、添加属性、指定域和键

创建物理数据模型步骤:解决逻辑抽象、添加属性细节、参考数据、代理键、规范化、索引、分区、视图

3.1.2 逆向工程

逆向工程是记录现有数据库的过程。物理数据建模通常是第一步,以了解现有系统的技术设计;逻辑数据建模是第二步,以记录现有系统满足业务的解决方案;概念数据建模是第三步,用于记录现有系统中的范围和关键术语。大多数数据建模工具支持各种数据库的逆向工程。

3.2 数据模型质量指标

DAMA数据治理中提及,也会经常拿来评估数据模型质量,如下图

相关推荐
PersistJiao14 天前
基于 Couchbase 构建数据仓库的实现方案
数据仓库·数据架构·couchbase
Amd79416 天前
数据库与数据库管理系统概述
数据库·关系型数据库·非关系型数据库·数据一致性·数据模型·数据安全性·数据库管理系统
编程小石头2 个月前
小程序云开发CMS新版数据模型讲解,可视化网页管理后台,内容管理对数据库进行增删改查操作,新闻小程序实战学习
小程序·cms·数据模型·1024程序员节·内容管理
乙真仙人4 个月前
实时计算Flink:推动行业变革的新时代引擎(附金融/汽车/物流/零售案例)
大数据·flink·实时计算·数据架构·数据组件
Davieyang.D.Y6 个月前
互联网应用主流框架整合之SpringMVC基础组件开发
重定向·表单验证·数据模型·多种传参方式·属性标签使用·视图和视图解析器
小康师兄8 个月前
IoTDB 入门教程⑤——数据模型和基础概念
数据库·物联网·时序数据库·iotdb·数据模型
ModelWhale8 个月前
和鲸科技出席第五届空间数据智能学术会议,执行总裁殷自强受邀发表主题报告
大数据·人工智能·数据模型·空间数据