数据仓库基础

ODS(Operational Data Store)层:操作数据存储。存放原始数据,直接加载原始日志、数据,起到备份数据的作用。数据采用压缩,减少磁盘存储空间。创建分区表,防止后续的全表扫描。

DWD(data warehouse detail 细节数据层):对核心数据进行判空过滤,对业务数据采用维度模型重新建模,即维度退化

DWS(data warehouse service 服务数据层):以DWD为基础,按天进行轻度汇总,一般是宽表

DWT(data warehouse topic 数据主题层):以DWS为基础,按主题进行汇总

ADS(Application Data Store 数据应用层):为各种统计报表提供数据

相关推荐
叮铃铃上课了6 小时前
Hive实战:精准拆分中英文混合字符串(含重音/空格场景)
数据仓库·hive·hadoop
走遍西兰花.jpg10 小时前
hive怎么实现连续登录
数据仓库·hive·hadoop
a努力。12 小时前
中国邮政Java面试被问:MySQL的ICP(索引条件下推)优化原理
java·开发语言·数据仓库·面试·职场和发展·重构·maven
Gain_chance16 小时前
22-学习笔记尚硅谷数仓搭建-日志表建表语句解析、数据装载及脚本装载数据
数据仓库·笔记·学习
Gain_chance17 小时前
18-学习笔记尚硅谷数仓搭建-数据仓库运行环境搭建(hive的安装及配置)
数据仓库·hive·笔记·学习
Gain_chance17 小时前
20-学习笔记尚硅谷数仓搭建-数据仓库开发环境搭建-hive连接DataGrip
数据仓库·hive·笔记·学习·datagrip
Gain_chance17 小时前
17-学习笔记尚硅谷数仓搭建-ER模型和维度模型的概念以及数据仓库为什么选择维度模型
数据仓库·笔记·学习·er模型·维度模型·函数依赖
Gain_chance19 小时前
19-学习笔记尚硅谷数仓搭建-数据仓库运行环境搭建(spark安装及配置)
数据仓库·笔记·学习·spark
Gain_chance19 小时前
21-学习笔记尚硅谷数仓搭建-数据仓库模拟数据生成
数据仓库·笔记·学习
帅次1 天前
系统分析师-大数据处理系统分析与设计
数据仓库·elasticsearch·kafka·hbase·数据库开发·数据库架构·big data