数据仓库(3)-模型建设

本文从以下9个内容,介绍数据参考模型建设相关内容。

1、OLTP VS OLAP

OLTP:全称OnLine Transaction Processing,中文名联机事务处理系统,主要是执行基本日常的事务处理,比如数据库记录的增删查改,例如mysql、oracle

OLAP:全称OnLine Analytical Processing,中文名联机分析处理系统,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果,例如、ClickHouse、Doris、Kylin

两者比较结果可见如下

2、数仓分层

通常我们吧数据分成4层,ODS、DWD、DWS、ADS。有时候业务在DWD和DWS中间放置一层轻度汇总层用于过渡。

3、数仓数据建模

什么是数据模型:数据特征的抽象,通常包括数据结构、数据操作、数据约束。

4、数据建模方法

数据建模方式很多,数据仓种最常见的是两种,维度建模和三范式建模(也叫实体关系建模)。以下详细介绍

5、数据建模流程

模型设计基本原则

维度建模设计大图

模型建设流程(详细)

总线矩阵

指以一致性维度为列,以业务过程为行,构建业务的数据矩阵,通过标记表示该维度与业务过程的相关性

模型建设5要素

模型设计中核心要考量的要素为5项:主题域 、事实表设计、维表设计、确认颗粒度、明确度量值。

相关推荐
weixin_307779131 天前
Databricks里用PySpark统计指定表和字段中各字段的空值、空字符串或零值比例
运维·数据仓库·python·spark·云计算
fastjson_3 天前
Hive 基础函数
数据仓库·hive·hadoop
APItesterCris4 天前
告别人工盯品:借助 OpenClaw 搭建商品自动监控与数据分析系统(完整实操)
大数据·数据库·数据仓库·自动化
AbnerWright5 天前
读书笔记-数据密集型应用系统设计
数据仓库
zgl_200537796 天前
源代码:跨数据库通用“字段级”数据血缘解析与图形化(2/3:标注信息的拆解、检验、保存)
大数据·数据库·数据仓库·sql·数据挖掘·etl·嵌入式实时数据库
fastjson_7 天前
Hive 复杂数据类型
数据仓库·hive·hadoop
roman_日积跬步-终至千里7 天前
量化投研中的缓慢变化维:从因子定义到回测可复现的底层逻辑
大数据·数据仓库·金融
hopsky7 天前
《Hive性能调优实战》核心内容详细解读
数据仓库·hive·hadoop
楠楠子呀9 天前
独立站聊天转化全链路:从二维码引流到数据复盘
java·javascript·数据仓库·python·c#·自动化·etl
熊出没10 天前
AI经营分析数据中台如何搭建数仓
数据仓库