数据仓库基础

ODS(Operational Data Store)层:操作数据存储。存放原始数据,直接加载原始日志、数据,起到备份数据的作用。数据采用压缩,减少磁盘存储空间。创建分区表,防止后续的全表扫描。

DWD(data warehouse detail 细节数据层):对核心数据进行判空过滤,对业务数据采用维度模型重新建模,即维度退化

DWS(data warehouse service 服务数据层):以DWD为基础,按天进行轻度汇总,一般是宽表

DWT(data warehouse topic 数据主题层):以DWS为基础,按主题进行汇总

ADS(Application Data Store 数据应用层):为各种统计报表提供数据

相关推荐
十月南城4 天前
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略
大数据·数据库·数据仓库·hive·hadoop·spark
王九思5 天前
Hive Thrift Server 介绍
数据仓库·hive·hadoop
土拨鼠烧电路5 天前
笔记11:数据中台:不是数据仓库,是业务能力复用的引擎
数据仓库·笔记
Asher05095 天前
Hive核心知识:从基础到实战全解析
数据仓库·hive·hadoop
weixin_449310846 天前
使用轻易云平台实现数据ETL转换与写入金蝶云星辰V2
java·数据仓库·etl
一号IT男7 天前
Hive中GROUPING SETS功能详解
数据仓库·hive·hadoop
500佰7 天前
Hive常见故障多案例FAQ宝典 --项目总结(宝典一)
大数据·linux·数据仓库·hive·hadoop·云计算·运维开发
makabalala10 天前
如何利用YashanDB进行数据仓库构建
数据仓库