数据仓库的主流分层架构

数据仓库的分层架构主要是为了更好地组织和管理数据,以及优化数据处理和分析的效率。一般来说,数据仓库可以分为以下几个层次:

源数据层(Source Layer):也称为ODS(Operational Data Store)层 ,是数据仓库的最底层,主要存储原始的业务数据。这些数据通常直接从各个业务系统中抽取,不经过任何清洗或转换。
数据仓库明细层(Data Warehouse Detail, DWD) :这一层主要存储明细数据,即对源数据层的数据进行清洗、转换和加载后的结果。数据仓库明细层的数据应该是一致的、准确的、干净的数据,即去除了杂质的数据。
数据仓库汇总层(Data Warehouse Summary, DWS) :这一层主要存储汇总数据,即对DWD层的数据进行进一步的聚合和汇总。数据仓库汇总层的数据可以支持更高级别的数据分析和报表生成。
应用层(Application Layer):也称为数据应用层(Data Application Layer),是数据仓库的最顶层。这一层的数据主要面向具体的业务应用,如报表、专题分析、数据挖掘等。应用层的数据可以来自DWD层或DWS层,根据具体业务需求进行选择和组合。

除了以上四个层次外,有些数据仓库还会包含一个临时层(Temporary Layer),用于存储一些中间的计算结果或临时数据。这些临时数据在计算完成后通常会被删除,以节省存储空间。

通过分层架构的设计,数据仓库可以更好地满足不同的业务需求,提高数据处理和分析的效率,同时也方便数据的维护和管理。

相关推荐
lsc_blog10 小时前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
YIN_尹10 小时前
【git原理与使用】git基本操作及底层原理(二)
大数据·git·elasticsearch
武子康10 小时前
H3-World 写了 CPU offload,为什么还不能保证塞进 48GB?
大数据·人工智能·深度学习
演艺大赏11 小时前
Doris 数据导出实战:SeaTunnel、EXPORT 与 OUTFILE 性能对比及 9.5 亿行写入故障复盘
大数据
isfox12 小时前
MapReduce 作业慢?别乱调参数,先找到瓶颈在哪
大数据
玩美数据13 小时前
市场调研数据分析与数据集驱动的行业格局变革深度解析
大数据·人工智能
微订校园外卖系统14 小时前
校园代取快递系统选型:现成系统与定制开发的技术核对项
大数据·运维·人工智能·外卖系统·本地生活·微订
挖掘狂人16 小时前
Token 都上双十一货架了,AI 电脑的账该怎么算?
大数据·程序员·ai编程
Black蜡笔小新17 小时前
消防控制室/配电房/中控室...视频汇聚平台EasyCVR岗位AI智能监测方案守住关键岗位
大数据·音视频·easycvr
大大大大晴天1 天前
每天认识一个组件:Apache Spark
大数据