一、引言
完成数据仓库分层后,DWD 层通常已经沉淀出交易、支付、退款、用户等标准化明细数据。但"数据已经清洗干净"并不等于"数据已经适合分析":订单金额应按下单时间还是支付时间统计?一次订单拆成多次支付后,订单金额还能否直接求和?用户修改城市后,历史订单应归入原城市还是新城市?
这些问题需要维度建模解决,DWD 层解决的是"数据是否标准、完整和可复用",维度建模解决的是"分析口径是否明确、查询路径是否稳定"。
维度建模通过事实表和维度表把这些问题显式化:
markdown
DWD 明细数据
│
│ 统一业务口径、确定粒度、关联维度代理键
▼
事实表 + 维度表
│
│ 汇总、切片、钻取、归因
▼
数据集市 / 指标层 / BI 报表
二、维度建模的核心:事实与上下文
可以把一次业务分析抽象为一句话:某个业务主体,在某个时间和场景下,发生了一次可度量的业务事件。
以"一名用户购买一件商品"为例:
谁 用户
买了什么 商品
何时 下单时间
通过哪里 渠道
送到哪里 地区
发生什么 下单
结果多少 商品数量、成交金额、优惠金额
其中:
- "下单"是业务过程;
- 商品数量、成交金额是事实;
- 用户、商品、时间、渠道和地区是维度;
- 一条订单商品明细是事实粒度。
事实回答"发生了什么、发生了多少",维度回答"谁、何时、何地、通过什么方式发生"。
2.1.事实表
事实表记录业务过程产生的度量事件。事务事实表中的一行通常对应某个时点发生的一次测量事件,并包含与该事件相关的维度外键、业务标识和数值度量。
典型字段包括:
外键:
user_sk
product_sk
shop_sk
channel_sk
order_date_sk
退化维:
order_no
order_item_no
度量:
item_quantity
original_amount
discount_amount
payable_amount
事实表通常行数多、字段相对窄,并持续追加数据。
2.2.维度表
维度表描述业务实体及其属性,通常包含一个或多个层次,属性多为描述性文本,例如客户、商品和时间。用户维度可以包含:
user_sk 用户代理键
user_id 用户业务键
user_name 用户名称
gender_code 性别编码
register_channel 注册渠道
city_name 所在城市
member_level 会员等级
effective_from 版本生效时间
effective_to 版本失效时间
is_current 是否当前版本
维度表通常行数少于事实表,但属性更丰富。分析人员使用这些属性筛选、分组和钻取事实数据。
三、先确定粒度,再设计字段
"交易明细表"不是合格的粒度声明,因为"明细"仍有多种解释:
css
粒度 A:一行代表一个订单
粒度 B:一行代表一个订单中的一件商品
粒度 C:一行代表一次商品数量为 N 的订单行
粒度 D:一行代表订单的一次状态变化
设计者必须先声明粒度,然后才能选择维度和事实;每个候选字段都必须与粒度一致。
3.1.订单与订单行不能混为一谈
假设订单O1001 中有两个商品:
css
订单号 商品 数量 商品实付金额 订单运费
O1001 A 1 80 10
O1001 B 2 120 10
如果事实表粒度是"订单商品行",却把订单级运费 10 元复制到每一行:
ini
SUM(订单运费) = 10 + 10 = 20
真实运费只有 10 元,查询发生重复汇总。可选处理方式包括:
-
把运费保留在订单粒度事实表;
-
按明确规则将运费分摊到订单行;
-
在订单行事实表只标记订单首行承载运费,但这种设计会增加使用约束;
-
将订单头与订单行分别建模,通过订单号关联,但跨粒度查询必须控制重复。
更稳妥的方式通常是分别建立订单事实表和订单行事实表:
fct_trade_order
粒度:每个订单一行
度量:订单金额、运费、订单级优惠
fct_trade_order_item
粒度:每个订单商品行一行
度量:购买数量、商品原价、商品优惠、商品实付
3.2.同一张事实表中的度量必须服从同一粒度
假设支付平台允许一笔订单使用余额和银行卡组合支付:
订单 O1001
├─ 支付流水 P9001:余额支付 30 元
└─ 支付流水 P9002:银行卡支付 170 元
如果表粒度是"支付流水",却在两条支付记录中都保存订单金额 200 元:
ini
SUM(order_amount) = 200 + 200 = 400
此时支付金额符合支付流水粒度,订单金额不符合。正确做法是:
fct_pay_transaction
粒度:一次支付流水
度量:支付金额
关联:订单号、用户、支付方式、支付时间
订单金额保留在交易事实表。需要分析"订单金额与支付金额差异"时,先把支付流水聚合到订单粒度,再与订单事实表关联。
四、从业务过程出发设计事实表
交易系统不只有一张"大宽表"。下单、支付、退款代表不同的业务过程,它们产生事件的时点、粒度和度量都不同。
bash
用户下单 支付成功 发起退款 退款成功
│ │ │ │
▼ ▼ ▼ ▼
交易事实 支付事实 退款事实 退款结果
order/item pay_transaction refund_item refund_txn
维度建模中的事实表通常分为事务事实表、周期快照事实表和累积快照事实表。
4.1.事务事实表
事务事实表记录某个时点发生的业务事件,一行对应一次事件。
示例:
一条订单商品行
一次支付流水
一次退款流水
一次用户登录
特点:
- 通常以追加写入为主;
- 只有业务事件发生时才产生记录;
- 适合明细钻取与多维分析;
- 原子粒度越细,后续分析组合越灵活。
4.2.周期快照事实表
周期快照表按固定周期汇总业务状态,粒度中的核心成分是"周期",例如每天、每周或每月。即使某个主体当期没有业务活动,设计上也可能为其保留一行,因此周期快照往往比事务事实表更稠密。
表名:fct_user_trade_daily
粒度:每个用户每天一行
date_sk
user_sk
order_count
pay_order_count
pay_amount
refund_amount
active_flag
适用场景包括:
- 每日用户交易汇总;
- 每日店铺经营情况;
- 每月账户余额;
- 每日库存余额。
周期快照不是简单的汇总中间表。它必须声明明确粒度,并定义无活动主体是否需要补零。
4.3.累积快照事实表
累积快照用于描述有明确生命周期和若干里程碑的业务对象,例如订单履约:
arduino
下单 → 支付 → 出库 → 发货 → 签收 → 完成
//模型示例
表名:fct_order_fulfillment_acc
粒度:每个订单一行
order_no
buyer_user_sk
order_date_sk
pay_date_sk
ship_date_sk
receive_date_sk
finish_date_sk
order_to_pay_seconds
pay_to_ship_seconds
ship_to_receive_seconds
current_status
传统累积快照通常会随着里程碑推进更新同一行,因此它与只追加的事务事实表不同。若底层平台、湖仓规范或审计要求限制原位更新,也可以记录生命周期的版本变化,再在查询层恢复最新状态。
五、事实的可加性
度量字段不能只看数据类型,还要看它能沿哪些维度安全求和。
| 类型 | 含义 | 示例 |
|---|---|---|
| 可加事实 | 可沿所有相关维度求和 | 支付金额、商品数量 |
| 半可加事实 | 可沿部分维度求和 | 账户余额、库存余额 |
| 不可加事实 | 不能直接求和 | 比率、单价、转化率 |
- 可加事实:支付金额可以按用户、渠道、地区和日期汇总,但前提是支付事实表没有重复数据,且金额字段符合支付流水粒度。
- 半可加事实:每日账户余额可以跨账户求和,却不能直接跨日期求和。跨日期分析通常使用期末值、期初值、平均余额或最大余额,具体取决于业务定义。
- 不可加事实:客单价不应跨维度直接求和,更稳妥的做法是在事实表中保留分子和分母,由查询层重新计算,而不是保存一个可以被误求和的比率。
六、退化维度:订单号为什么可以留在事实表
维度退化是指某个业务标识具有维度意义,却没有值得拆出的描述属性,因此将标识直接保留在事实表中。常见退化维度包括:
order_no 订单号
order_item_no 订单行号
pay_transaction_no 支付流水号
refund_no 退款单号
coupon_use_no 券核销流水号
退化维度的用途包括:
- 查询单个业务单据;
- 从汇总结果下钻到明细;
- 关联同一业务流程中的多个事实表;
- 支持按订单数、支付流水数等指标进行去重计数。
6.1.什么情况下不应退化
如果订单本身有大量稳定且经常参与分析的描述属性,例如订单类型、履约模式、来源系统和合同类型,可以考虑:
-
把这些属性放入相关业务维度;
-
设计订单微型维度;
-
保留订单号为退化维度,同时将分析属性分配到其他维度。
不建议只因为"订单号是字符串"就建立只有订单号一列的维度表。这会增加一次连接,却没有增加描述能力。
七、缓慢变化维:用户属性变了怎么办
缓慢变化维用于处理维度成员属性随时间发生的变化。常见方式包括:
- Type 1:覆盖现有维度成员;
- Type 2:插入带时间版本的新成员;
- Type 3:在当前行中保留有限的历史属性。
7.1.Type 1:直接覆盖
ini
变更前:
user_id = U1001
city = 杭洲
变更后:
user_id = U1001
city = 上海
适用于:
- 源数据纠错;
- 不需要历史分析的字段;
- 手机号、邮箱等只关心当前值的属性。
影响是历史事实通过该用户维度查询时,也会显示为上海。
7.2.Type 2:增加版本行
ini
用户 U1001
│
2024-07-01 城市发生变化
│
+------------+------------+
| |
v v
+------------------------+ +------------------------+
| user_sk = 101 | | user_sk = 205 |
| user_id = U1001 | | user_id = U1001 |
| city = 杭州 | | city = 上海 |
| 2024-01-01~2024-06-30 | | 2024-07-01~9999-12-31 |
| is_current = 0 | | is_current = 1 |
+------------------------+ +------------------------+
Type 2 为变化后的维度成员插入新行,并分配新的代理键;从变化时点开始,新事实引用新的代理键。
它适用于:
- 用户城市变化历史;
- 会员等级变化;
- 客户所属销售区域变化;
- 商家经营分类变化;
- 需要按事件发生时属性归因的场景。
这样既能回答"用户现在位于哪里",也能回答"订单发生时用户位于哪里"。
7.3.Type 3:增加有限历史列
user_id
current_city
previous_city
city_change_date
Type 3 只保留有限历史,例如当前值和前一个值。它适用于只比较"变更前后"的场景,但无法保存任意数量的历史版本。
7.4.同一维度可以混合使用不同策略
用户维度不需要对所有字段采用同一种 SCD 类型:
python
user_name Type 1,纠错时覆盖
mobile_phone Type 1,只关心当前联系方式
city Type 2,保留历史归属
member_level Type 2,分析历史等级
previous_segment Type 3,只保留前一个客群
设计时应按属性决定历史策略,而不是笼统地说"用户维度使用 Type 2"。
八、维度表的代理键与业务键
维度表通常同时保留:
user_sk 数仓生成的代理键
user_id 业务系统中的自然键或业务键
代理键主要解决三个问题:
-
同一个业务键在 SCD Type 2 中可以对应多个历史版本;
-
多个源系统可能产生相同格式的业务键;
-
数仓可以独立管理未知成员、失效成员和合并成员。
例如用户U1001 修改城市:
yaml
user_sk user_id city effective_from effective_to is_current
101 U1001 杭州 2024-01-01 2024-06-30 0
205 U1001 上海 2024-07-01 9999-12-31 1
这里的user_id 始终是U1001 ,但两个历史版本使用不同的user_sk 。事实表写入哪个代理键,取决于事件发生时间对应的维度版本。
九、事实表如何正确关联 SCD Type 2
假设订单发生在2024-06-20 ,用户在2024-07-01 从杭州迁至上海。
加载事实表时不能只关联is_current = 1 的用户版本,否则 6 月订单会错误归入上海。应按照业务键和事件时间匹配有效区间:
vbnet
SELECT
o.order_no,
u.user_sk,
o.order_time,
o.payable_amount
FROM dwd_trade_order o
JOIN dim_user u
ON o.user_id = u.user_id
AND o.order_time >= u.effective_from
AND o.order_time < u.effective_to;
推荐使用左闭右开区间:
[effective_from, effective_to)
这样相邻版本可以表示为:
yaml
版本 1:[2024-01-01 00:00:00, 2024-07-01 00:00:00)
版本 2:[2024-07-01 00:00:00, 9999-12-31 00:00:00)
避免同时使用两端闭区间,否则变更时点可能命中两个版本。
9.1.迟到维度与迟到事实
真实数仓还会遇到:
- 事实先到,维度未到;
- 维度变更晚于实际生效时间到达;
- 历史事实需要重新关联维度版本。
常用处理方式包括:
- 先关联"未知用户"代理键,维度到达后回补;
- 依据源系统提供的业务生效时间插入历史版本;
- 重算受影响时间范围内的事实外键;
- 区分业务生效时间与数仓处理时间。
十、从 DWD 和 DIM 落地事实模型
第一步:选择业务过程
不要从"有哪些源表"出发,应从"分析哪个业务事件"出发。
交易、支付、退款、注册、登录、履约、库存
一个业务过程通常对应一张或一组事实表。
第二步:声明粒度
使用一句完整的话描述:
每个订单一行
每个订单商品行一行
每次支付流水一行
每次退款资金流水一行
每个用户每天一行
避免使用"订单明细""支付明细"等模糊表述。
第三步:识别维度
围绕事件询问:
何时发生?
由谁发起?
涉及什么商品或服务?
发生在哪个地区?
来自哪个渠道?
采用什么支付方式?
为什么退款?
答案通常对应日期、用户、商品、地区、渠道、支付方式和退款原因维度。
第四步:识别事实
事实必须能够在声明的粒度下解释:
商品数量
商品原价金额
优惠金额
实付金额
支付手续费
退款金额
处理时长
为每个事实记录:
- 业务定义;
- 计算公式;
- 金额币种;
- 可加性;
- 空值含义;
- 正负号规则;
- 是否含税;
- 是否包含取消、失败或测试数据。
第五步:确定维度变化策略
逐个属性判断:
是否只需要当前值?
是否需要按事件发生时状态分析?
是否只保留前一个值?
源系统是否提供业务生效时间?
再选择 Type 1、Type 2 或 Type 3。
第六步:生成代理键并装载事实
加载维度
→ 处理 SCD 版本
→ 根据业务键和事件时间查找代理键
→ 加载事实表
→ 处理未匹配维度
→ 执行质量校验
第七步:验证可汇总性
markdown
DWD 支付成功金额
=
事实表支付金额
DWD 退款成功金额
=
退款事实表金额
订单行实付金额汇总
与订单头实付金额
在业务允许的误差范围内一致
事实表行数
=
符合范围的源业务事件数
还应检查:
- 一对多关联是否造成事实膨胀;
- SCD 有效区间是否重叠;
- 同一业务键是否存在多个当前版本;
- 未知维度占比是否异常;
- 退款和冲正的正负号是否统一;
- 去重计数使用的是业务单号还是事实行数。
最后在事实表上线前,可按以下逐项评审:
css
[ ] 是否用一句话声明了事实表粒度?
[ ] 每个维度外键是否符合该粒度?
[ ] 每个度量是否符合该粒度?
[ ] 是否混入订单级、订单行级、支付级字段?
[ ] 一对多关联是否会复制金额?
[ ] 多对多关系是否使用桥接表和分摊规则?
[ ] 订单号、支付流水号是否适合做退化维度?
[ ] 度量属于可加、半可加还是不可加?
[ ] 用户等维度是否明确 SCD 策略?
[ ] Type 2 是否使用代理键和有效时间?
[ ] 是否处理迟到事实、迟到维度和未知成员?
[ ] 日期维度是否区分下单、支付、退款等角色?
[ ] 事实金额能否与 DWD 或业务系统对账?
[ ] 公共维度是否在多个业务过程间保持一致?
[ ] 雪花化是否有明确的治理或维护收益?