数据仓库基础

ODS(Operational Data Store)层:操作数据存储。存放原始数据,直接加载原始日志、数据,起到备份数据的作用。数据采用压缩,减少磁盘存储空间。创建分区表,防止后续的全表扫描。

DWD(data warehouse detail 细节数据层):对核心数据进行判空过滤,对业务数据采用维度模型重新建模,即维度退化

DWS(data warehouse service 服务数据层):以DWD为基础,按天进行轻度汇总,一般是宽表

DWT(data warehouse topic 数据主题层):以DWS为基础,按主题进行汇总

ADS(Application Data Store 数据应用层):为各种统计报表提供数据

相关推荐
core51214 小时前
Hive实战(二)
数据仓库·hive·hadoop
Agatha方艺璇1 天前
Hive基础简介
数据仓库·hive·hadoop
Leo.yuan2 天前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
chat2tomorrow2 天前
数据采集平台的起源与演进:从ETL到数据复制
大数据·数据库·数据仓库·mysql·低代码·postgresql·etl
DashingGuy3 天前
数仓建模理论
数据仓库
像豆芽一样优秀3 天前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
aristo_boyunv3 天前
拦截器和过滤器(理论+实操)
java·数据仓库·hadoop·servlet
元媛媛4 天前
数据仓库概要
数据仓库
cg.family4 天前
Doris 数据仓库例子
数据仓库·doris