本文从以下9个内容,介绍数据参考模型建设相关内容。
1、OLTP VS OLAP
OLTP:全称OnLine Transaction Processing,中文名联机事务处理系统,主要是执行基本日常的事务处理,比如数据库记录的增删查改,例如mysql、oracle
OLAP:全称OnLine Analytical Processing,中文名联机分析处理系统,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果,例如、ClickHouse、Doris、Kylin
两者比较结果可见如下
2、数仓分层
通常我们吧数据分成4层,ODS、DWD、DWS、ADS。有时候业务在DWD和DWS中间放置一层轻度汇总层用于过渡。
3、数仓数据建模
什么是数据模型:数据特征的抽象,通常包括数据结构、数据操作、数据约束。
4、数据建模方法
数据建模方式很多,数据仓种最常见的是两种,维度建模和三范式建模(也叫实体关系建模)。以下详细介绍
5、数据建模流程
模型设计基本原则
维度建模设计大图
模型建设流程(详细)
总线矩阵
指以一致性维度为列,以业务过程为行,构建业务的数据矩阵,通过标记表示该维度与业务过程的相关性
模型建设5要素
模型设计中核心要考量的要素为5项:主题域 、事实表设计、维表设计、确认颗粒度、明确度量值。