数据仓库-维度设计

维度

在维度建模中,将度量称为"事实",将环境描述为"维度",维度是分析事实所需要的多样环境。

例如,在分析交易过程时,可以通过买家、卖家、商品和时间等维度描述交易发生的环境。

维度的基本设计方法

第一步:选择维度或新建维度。

作为维度建模的核心,在企业级数据仓库中必须保证维度的唯一性。

第二步:确定主维表

主维表一般是ODS表,直接与业务系统同步。

第三步:确定相关维表

根据对业务的梳理,确定哪些表和主维表存在关联关系,并选择其中的某些应用于生成维度属性。

第四步:确定维度属性

本步骤主要包括两个阶段,其中一个阶段是从主维表中选择维度属性或生成新的维度属性;第二个阶段是从相关维表中选择维度属性或生成新的维度属性。

缓慢变化维

数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的。它会随着时间的流逝发生缓慢的变化。与数据增长较为快速的事实表相比,维度变化相对缓慢。在Kimball的理论中,有三种处理缓慢变化维的方式。

方式一

重写维度值。采用此方式,不保留历史数据,始终取最新数据。

方式二

插入新的维度行。采用此方式,保留历史数据,维度值变化前的事实和过去的维度值关联,维度值变化后的事实和当前的维度值关联。

方式三

添加维度列,通过新列保存变化后的维度值。采用第二种处理方式不能将变化前后记录的事实归一为变化前的维度或归一为变化后的维度。

历史拉链存储就是利用缓慢变化维的第二种处理方式。这种处理方式是通过新增两个时间戳字段(start_dt和end_dt),将所有以天为粒度的变更数据都记录下来。通常分区字段也是时间戳字段。

相关推荐
泡干脆面就番茄18 小时前
Hive入门:架构解析与安装部署实录
大数据·数据仓库·hive·hadoop·架构
APItesterCris18 小时前
告别反复手工查价:用 Open‑Claw 搭建商品监控与数据分析小工具
大数据·数据库·数据仓库·自动化
Tongzhi202618 小时前
2026 年考勤行业趋势:考勤正在从“打卡工具“变成“人力成本中枢“
大数据·数据结构·数据仓库·科技·数据库开发
古法老登瞎折腾2 天前
Hive 源码导读(三):都是 SELECT,为什么有的查询不需要 YARN?
数据仓库·hive·hadoop
真上帝的左手4 天前
27. 数据产品-数据中台架构规划
数据仓库·架构·数据分析·数据中台
省钱兄--zs4 天前
24小时自助健身房系统软件开发实战:从架构设计到部署全指南
java·数据仓库·spring boot·系统架构·需求分析
clorinda5 天前
Hive 窗口函数详解:让数据在分组中完成排名、累计和跨行计算
数据仓库·hive·hadoop
Sayai6 天前
ClickHouse WITH FILL 实战:监控大屏时间序列补零,附多粒度指标表与物化视图级联设计
大数据·运维·数据仓库·clickhouse·物化视图
躺柒7 天前
读数据架构知识体系指南16数据网格(上)
数据仓库·架构·数据分析·数据湖·数据架构·关系数据库
省钱兄--zs7 天前
北京24小时自助健身房系统软件开发实战:从架构设计到部署指南
java·数据仓库·spring boot·小程序·需求分析