数据仓库基础

ODS(Operational Data Store)层:操作数据存储。存放原始数据,直接加载原始日志、数据,起到备份数据的作用。数据采用压缩,减少磁盘存储空间。创建分区表,防止后续的全表扫描。

DWD(data warehouse detail 细节数据层):对核心数据进行判空过滤,对业务数据采用维度模型重新建模,即维度退化

DWS(data warehouse service 服务数据层):以DWD为基础,按天进行轻度汇总,一般是宽表

DWT(data warehouse topic 数据主题层):以DWS为基础,按主题进行汇总

ADS(Application Data Store 数据应用层):为各种统计报表提供数据

相关推荐
RestCloud1 天前
企业对数据集成工具的需求及 ETL 工具工作原理详解
数据仓库·系统安全·etl·数字化转型·数据集成平台·集成平台
朵朵zeng2 天前
ETL背景介绍_1:数据孤岛仓库的介绍
数据仓库·etl·原型模式
方二华2 天前
数据仓库:企业数据管理的核心引擎
数据仓库
IvanCodes3 天前
七、深入 Hive DDL:管理表、分区与洞察元数据
数据仓库·hive·hadoop
RestCloud3 天前
ETL 数据集成平台与数据仓库的关系及 ETL 工具推荐
数据仓库·etl·cdc·数据集成平台
yyf9601264 天前
hiveserver2与beeline进行远程连接hive配置及遇到的问题
数据仓库·hive
jiedaodezhuti4 天前
hive两个表不同数据类型字段关联引发的数据倾斜
数据仓库·hive·hadoop
IvanCodes4 天前
五、Hive表类型、分区及数据加载
大数据·数据仓库·hive
镜舟科技4 天前
什么是数据集市(Data Mart)?
数据仓库·olap·数据集市·多维数据模型·在线分析处理·定制化数据
SelectDB技术团队5 天前
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
大数据·数据库·数据仓库·信息可视化·数据分析·doris·实时分析