数据仓库ODS、DWD、DWR、DM、DIM各层介绍

数据仓库并不是数据的最终目的地,而是为数据最终的目的地做好准备,这些准备包含:清洗、转义、分类、重组、合并、拆分、统计等。

每个公司可根据自己的业务需求分为不同的层次。目前比较成熟的数据分层

ODS层(Operation Data Store )数据操作层,也称为贴源层,它是数据平台的"原始数据池"。数据从各个业务系统(如ERP、CRM)几乎实时或准实时地同步到这里。

DWD层(Data Warehouse Detail )明细数据层,负责清洗、整合ODS层数据,也是数据仓库的基础层。

DWR层 (Data Warehouse Report / Data Warehouse Processing) - 数据报告/加工层,基于DWD层的明细数据,进行轻度汇总或预连接,生成面向特定业务场景或分析主题的宽表。

DM层(Data Mart)数据集市层,基于DWD层或DWR基础上构建主题宽表,支持特定业务分析需求。 ‌

DIM层(Dimension)维度信息层,统一管理维度表(如时间、地区等),用于关联事实表和分析

相关推荐
莫叫石榴姐2 天前
Doris为2.1版本,但json_each不可以用解决方法
数据仓库·json
老徐电商数据笔记3 天前
技术复盘第八篇:从“数据烟囱”到“能力引擎”:中型电商数仓重构实战手册
大数据·数据仓库·重构·数据中台·用户画像·技术面试
青木川崎3 天前
hive实战
数据仓库·hive·hadoop
是阿威啊3 天前
【第三站】本地虚拟机部署hive集群
linux·数据仓库·hive·hadoop·分布式
和光同尘20233 天前
一文讲透CentOS下安装部署使用MYSQL
linux·运维·数据库·数据仓库·mysql·centos·database
云器科技4 天前
无需CDP:基于现有数据仓库构建高效用户画像系统
数据仓库·湖仓一体·lakehouse·无需 cdp
xerthwis4 天前
HDFS:那座正在云化与解构的“古老高墙”
大数据·数据仓库·人工智能·hdfs·数据库开发·数据库架构
ghgxm5205 天前
EXCEL使用VBA代码实现按条件查询数据库--简单实用
开发语言·数据仓库·笔记·excel·数据库开发
喻师傅6 天前
Hive 中 NULL 值在逻辑判断中的“陷阱”(踩坑复盘)
数据仓库·hive·hadoop
涤生大数据6 天前
放弃Canal后,我们用Flink CDC实现了99.99%的数据一致性
大数据·数据仓库·flink·大数据开发·flink cdc·数据开发·实时数据