数据仓库的主流分层架构

数据仓库的分层架构主要是为了更好地组织和管理数据,以及优化数据处理和分析的效率。一般来说,数据仓库可以分为以下几个层次:

源数据层(Source Layer):也称为ODS(Operational Data Store)层 ,是数据仓库的最底层,主要存储原始的业务数据。这些数据通常直接从各个业务系统中抽取,不经过任何清洗或转换。
数据仓库明细层(Data Warehouse Detail, DWD) :这一层主要存储明细数据,即对源数据层的数据进行清洗、转换和加载后的结果。数据仓库明细层的数据应该是一致的、准确的、干净的数据,即去除了杂质的数据。
数据仓库汇总层(Data Warehouse Summary, DWS) :这一层主要存储汇总数据,即对DWD层的数据进行进一步的聚合和汇总。数据仓库汇总层的数据可以支持更高级别的数据分析和报表生成。
应用层(Application Layer):也称为数据应用层(Data Application Layer),是数据仓库的最顶层。这一层的数据主要面向具体的业务应用,如报表、专题分析、数据挖掘等。应用层的数据可以来自DWD层或DWS层,根据具体业务需求进行选择和组合。

除了以上四个层次外,有些数据仓库还会包含一个临时层(Temporary Layer),用于存储一些中间的计算结果或临时数据。这些临时数据在计算完成后通常会被删除,以节省存储空间。

通过分层架构的设计,数据仓库可以更好地满足不同的业务需求,提高数据处理和分析的效率,同时也方便数据的维护和管理。

相关推荐
代码匠心1 天前
从零开始学Flink:Flink SQL四大Join解析
大数据·flink·flink sql·大数据处理
武子康2 天前
大数据-242 离线数仓 - DataX 实战:MySQL 全量/增量导入 HDFS + Hive 分区(离线数仓 ODS
大数据·后端·apache hive
SelectDB3 天前
易车 × Apache Doris:构建湖仓一体新架构,加速 AI 业务融合实践
大数据·agent·mcp
武子康3 天前
大数据-241 离线数仓 - 实战:电商核心交易数据模型与 MySQL 源表设计(订单/商品/品类/店铺/支付)
大数据·后端·mysql
茶杯梦轩3 天前
从零起步学习RabbitMQ || 第三章:RabbitMQ的生产者、Broker、消费者如何保证消息不丢失(可靠性)详解
分布式·后端·面试
IvanCodes3 天前
一、消息队列理论基础与Kafka架构价值解析
大数据·后端·kafka
武子康4 天前
大数据-240 离线数仓 - 广告业务 Hive ADS 实战:DataX 将 HDFS 分区表导出到 MySQL
大数据·后端·apache hive
回家路上绕了弯5 天前
深入解析Agent Subagent架构:原理、协同逻辑与实战落地指南
分布式·后端
字节跳动数据平台5 天前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康5 天前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive