数据仓库基础

ODS(Operational Data Store)层:操作数据存储。存放原始数据,直接加载原始日志、数据,起到备份数据的作用。数据采用压缩,减少磁盘存储空间。创建分区表,防止后续的全表扫描。

DWD(data warehouse detail 细节数据层):对核心数据进行判空过滤,对业务数据采用维度模型重新建模,即维度退化

DWS(data warehouse service 服务数据层):以DWD为基础,按天进行轻度汇总,一般是宽表

DWT(data warehouse topic 数据主题层):以DWS为基础,按主题进行汇总

ADS(Application Data Store 数据应用层):为各种统计报表提供数据

相关推荐
Raisy_3 小时前
05 ODS层(Operation Data Store)
大数据·数据仓库·kafka·flume
不辉放弃12 小时前
大数据仓库分层
大数据·数据仓库
君不见,青丝成雪1 天前
Flink双流join
大数据·数据仓库·flink
君不见,青丝成雪2 天前
Hadoop技术栈(四)HIVE常用函数汇总
大数据·数据库·数据仓库·hive·sql
SelectDB技术团队2 天前
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
数据库·数据仓库·数据分析·apache doris·菜鸟技术
程序员小羊!2 天前
数据仓库&OLTP&OLAP&维度讲解
数据仓库
RestCloud2 天前
ETLCloud中的数据转化规则是什么意思?怎么执行
数据库·数据仓库·etl
老刘聊集成2 天前
数据一致性校验:ETL保证信息准确无误的关键步骤
数据仓库·etl
苛子4 天前
iPaaS、ETL、数据集成平台是什么?三者是什么关系?
数据仓库·etl
喂完待续4 天前
【Tech Arch】Hive技术解析:大数据仓库的SQL桥梁
大数据·数据仓库·hive·hadoop·sql·apache