数据仓库ODS、DWD、DWR、DM、DIM各层介绍

数据仓库并不是数据的最终目的地,而是为数据最终的目的地做好准备,这些准备包含:清洗、转义、分类、重组、合并、拆分、统计等。

每个公司可根据自己的业务需求分为不同的层次。目前比较成熟的数据分层

ODS层(Operation Data Store )数据操作层,也称为贴源层,它是数据平台的"原始数据池"。数据从各个业务系统(如ERP、CRM)几乎实时或准实时地同步到这里。

DWD层(Data Warehouse Detail )明细数据层,负责清洗、整合ODS层数据,也是数据仓库的基础层。

DWR层 (Data Warehouse Report / Data Warehouse Processing) - 数据报告/加工层,基于DWD层的明细数据,进行轻度汇总或预连接,生成面向特定业务场景或分析主题的宽表。

DM层(Data Mart)数据集市层,基于DWD层或DWR基础上构建主题宽表,支持特定业务分析需求。 ‌

DIM层(Dimension)维度信息层,统一管理维度表(如时间、地区等),用于关联事实表和分析

相关推荐
Database_Cool_18 小时前
大规模数据分析降本指南:AnalyticDB Serverless 弹性架构实战
数据仓库·阿里云·架构·数据分析·serverless
Database_Cool_19 小时前
什么是湖仓一体?和数据仓库的本质区别(附 AnalyticDB MySQL 湖仓一体方案)
数据库·数据仓库·mysql
递归尽头是星辰1 天前
AI 访问数据仓库:从直连到微服务化
数据仓库·人工智能·微服务·dataagent·ai数据治理
TPBoreas2 天前
springboot3.5比2.x做了哪儿些提升
数据仓库·hive·hadoop
Nefu_lyh4 天前
【Hive】七、Hive 函数:聚合 / 统计 / 分位数 / 集合 / 高级分组
数据仓库·hive·hadoop
KANGBboy4 天前
hive UDF函数
数据仓库·hive·hadoop
云器科技5 天前
螳螂科技:从组装到统一,如何用云器 Lakehouse 完美替代“MC+DW+ADB”三件套?
数据库·数据仓库·人工智能
白日与明月7 天前
Hive子查询中的ORDER BY陷阱:为什么排序“消失”了?
数据仓库·hive·hadoop
isNotNullX8 天前
企业数据中台建设,ETL工具选错了会踩哪些坑?
数据仓库·etl·原型模式
SelectDB技术团队8 天前
预约发布会|核心产品力首发,如何构建面向 Agent 时代的企业级数据引擎
数据库·数据仓库·人工智能·数据分析·可观测·apache doris·selectdb