数据仓库(3)-模型建设

本文从以下9个内容,介绍数据参考模型建设相关内容。

1、OLTP VS OLAP

OLTP:全称OnLine Transaction Processing,中文名联机事务处理系统,主要是执行基本日常的事务处理,比如数据库记录的增删查改,例如mysql、oracle

OLAP:全称OnLine Analytical Processing,中文名联机分析处理系统,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果,例如、ClickHouse、Doris、Kylin

两者比较结果可见如下

2、数仓分层

通常我们吧数据分成4层,ODS、DWD、DWS、ADS。有时候业务在DWD和DWS中间放置一层轻度汇总层用于过渡。

3、数仓数据建模

什么是数据模型:数据特征的抽象,通常包括数据结构、数据操作、数据约束。

4、数据建模方法

数据建模方式很多,数据仓种最常见的是两种,维度建模和三范式建模(也叫实体关系建模)。以下详细介绍

5、数据建模流程

模型设计基本原则

维度建模设计大图

模型建设流程(详细)

总线矩阵

指以一致性维度为列,以业务过程为行,构建业务的数据矩阵,通过标记表示该维度与业务过程的相关性

模型建设5要素

模型设计中核心要考量的要素为5项:主题域 、事实表设计、维表设计、确认颗粒度、明确度量值。

相关推荐
陈敬雷-充电了么-CEO兼CTO3 天前
推荐算法系统系列>推荐数据仓库集市的ETL数据处理
大数据·数据库·数据仓库·数据挖掘·数据分析·etl·推荐算法
isNotNullX3 天前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
百度Geek说4 天前
搜索数据建设系列之数据架构重构
数据仓库·重构·架构·spark·dubbo
A5资源网13 天前
为WordPress 网站创建一个纯文本网站地图(Sitemap)
前端·数据仓库·html·php
Cachel wood14 天前
Spark教程1:Spark基础介绍
大数据·数据库·数据仓库·分布式·计算机网络·spark
張萠飛14 天前
hive集群优化和治理常见的问题答案
数据仓库·hive·hadoop
isNotNullX15 天前
ETL连接器好用吗?如何实现ETL连接?
大数据·数据库·数据仓库·信息可视化·etl
袋鼠云数栈15 天前
3节点开启大数据时代:EasyMR助力中小企业轻装上阵、国产转型
大数据·数据库·数据仓库·sql·数据开发·数据中台·袋鼠云
巴基海贼王15 天前
针对数据仓库方向的大数据算法工程师面试经验总结
大数据·数据仓库·算法
isNotNullX17 天前
据字典是什么?和数据库、数据仓库有什么关系?
大数据·数据库·数据仓库·oracle·数据治理