别让金额越算越多:事实表与维度表设计避坑指南

一、引言

完成数据仓库分层后,DWD 层通常已经沉淀出交易、支付、退款、用户等标准化明细数据。但"数据已经清洗干净"并不等于"数据已经适合分析":订单金额应按下单时间还是支付时间统计?一次订单拆成多次支付后,订单金额还能否直接求和?用户修改城市后,历史订单应归入原城市还是新城市?

这些问题需要维度建模解决,DWD 层解决的是"数据是否标准、完整和可复用",维度建模解决的是"分析口径是否明确、查询路径是否稳定"。

维度建模通过事实表和维度表把这些问题显式化:

markdown 复制代码
DWD 明细数据
    │
    │ 统一业务口径、确定粒度、关联维度代理键
    ▼
事实表 + 维度表
    │
    │ 汇总、切片、钻取、归因
    ▼
数据集市 / 指标层 / BI 报表

二、维度建模的核心:事实与上下文

可以把一次业务分析抽象为一句话:某个业务主体,在某个时间和场景下,发生了一次可度量的业务事件。

以"一名用户购买一件商品"为例:

复制代码
谁        用户
买了什么  商品
何时      下单时间
通过哪里  渠道
送到哪里  地区
发生什么  下单
结果多少  商品数量、成交金额、优惠金额

其中:

  • "下单"是业务过程;
  • 商品数量、成交金额是事实;
  • 用户、商品、时间、渠道和地区是维度;
  • 一条订单商品明细是事实粒度。

事实回答"发生了什么、发生了多少",维度回答"谁、何时、何地、通过什么方式发生"。

2.1.事实表

事实表记录业务过程产生的度量事件。事务事实表中的一行通常对应某个时点发生的一次测量事件,并包含与该事件相关的维度外键、业务标识和数值度量。

典型字段包括:

复制代码
外键:
  user_sk
  product_sk
  shop_sk
  channel_sk
  order_date_sk

退化维:
  order_no
  order_item_no

度量:
  item_quantity
  original_amount
  discount_amount
  payable_amount

事实表通常行数多、字段相对窄,并持续追加数据。

2.2.维度表

维度表描述业务实体及其属性,通常包含一个或多个层次,属性多为描述性文本,例如客户、商品和时间。用户维度可以包含:

复制代码
user_sk             用户代理键
user_id             用户业务键
user_name           用户名称
gender_code         性别编码
register_channel    注册渠道
city_name           所在城市
member_level        会员等级
effective_from      版本生效时间
effective_to        版本失效时间
is_current          是否当前版本

维度表通常行数少于事实表,但属性更丰富。分析人员使用这些属性筛选、分组和钻取事实数据。

三、先确定粒度,再设计字段

"交易明细表"不是合格的粒度声明,因为"明细"仍有多种解释:

css 复制代码
粒度 A:一行代表一个订单
粒度 B:一行代表一个订单中的一件商品
粒度 C:一行代表一次商品数量为 N 的订单行
粒度 D:一行代表订单的一次状态变化

设计者必须先声明粒度,然后才能选择维度和事实;每个候选字段都必须与粒度一致。

3.1.订单与订单行不能混为一谈

假设订单O1001 中有两个商品:

css 复制代码
订单号   商品   数量   商品实付金额   订单运费
O1001    A      1      80            10
O1001    B      2      120           10

如果事实表粒度是"订单商品行",却把订单级运费 10 元复制到每一行:

ini 复制代码
SUM(订单运费) = 10 + 10 = 20

真实运费只有 10 元,查询发生重复汇总。可选处理方式包括:

  1. 把运费保留在订单粒度事实表;

  2. 按明确规则将运费分摊到订单行;

  3. 在订单行事实表只标记订单首行承载运费,但这种设计会增加使用约束;

  4. 将订单头与订单行分别建模,通过订单号关联,但跨粒度查询必须控制重复。

更稳妥的方式通常是分别建立订单事实表和订单行事实表:

复制代码
fct_trade_order
  粒度:每个订单一行
  度量:订单金额、运费、订单级优惠

fct_trade_order_item
  粒度:每个订单商品行一行
  度量:购买数量、商品原价、商品优惠、商品实付

3.2.同一张事实表中的度量必须服从同一粒度

假设支付平台允许一笔订单使用余额和银行卡组合支付:

复制代码
订单 O1001
  ├─ 支付流水 P9001:余额支付 30 元
  └─ 支付流水 P9002:银行卡支付 170 元

如果表粒度是"支付流水",却在两条支付记录中都保存订单金额 200 元:

ini 复制代码
SUM(order_amount) = 200 + 200 = 400

此时支付金额符合支付流水粒度,订单金额不符合。正确做法是:

复制代码
fct_pay_transaction
  粒度:一次支付流水
  度量:支付金额
  关联:订单号、用户、支付方式、支付时间

订单金额保留在交易事实表。需要分析"订单金额与支付金额差异"时,先把支付流水聚合到订单粒度,再与订单事实表关联。

四、从业务过程出发设计事实表

交易系统不只有一张"大宽表"。下单、支付、退款代表不同的业务过程,它们产生事件的时点、粒度和度量都不同。

bash 复制代码
用户下单           支付成功               发起退款          退款成功
   │                  │                      │                 │
   ▼                  ▼                      ▼                 ▼
交易事实          支付事实               退款事实          退款结果
order/item       pay_transaction         refund_item       refund_txn

维度建模中的事实表通常分为事务事实表、周期快照事实表和累积快照事实表。

4.1.事务事实表

事务事实表记录某个时点发生的业务事件,一行对应一次事件。

复制代码
示例:
  一条订单商品行
  一次支付流水
  一次退款流水
  一次用户登录

特点:

  • 通常以追加写入为主;
  • 只有业务事件发生时才产生记录;
  • 适合明细钻取与多维分析;
  • 原子粒度越细,后续分析组合越灵活。

4.2.周期快照事实表

周期快照表按固定周期汇总业务状态,粒度中的核心成分是"周期",例如每天、每周或每月。即使某个主体当期没有业务活动,设计上也可能为其保留一行,因此周期快照往往比事务事实表更稠密。

复制代码
表名:fct_user_trade_daily
粒度:每个用户每天一行

date_sk
user_sk
order_count
pay_order_count
pay_amount
refund_amount
active_flag

适用场景包括:

  • 每日用户交易汇总;
  • 每日店铺经营情况;
  • 每月账户余额;
  • 每日库存余额。

周期快照不是简单的汇总中间表。它必须声明明确粒度,并定义无活动主体是否需要补零。

4.3.累积快照事实表

累积快照用于描述有明确生命周期和若干里程碑的业务对象,例如订单履约:

arduino 复制代码
下单 → 支付 → 出库 → 发货 → 签收 → 完成

//模型示例
表名:fct_order_fulfillment_acc
粒度:每个订单一行

order_no
buyer_user_sk
order_date_sk
pay_date_sk
ship_date_sk
receive_date_sk
finish_date_sk

order_to_pay_seconds
pay_to_ship_seconds
ship_to_receive_seconds

current_status

传统累积快照通常会随着里程碑推进更新同一行,因此它与只追加的事务事实表不同。若底层平台、湖仓规范或审计要求限制原位更新,也可以记录生命周期的版本变化,再在查询层恢复最新状态。

五、事实的可加性

度量字段不能只看数据类型,还要看它能沿哪些维度安全求和。

类型 含义 示例
可加事实 可沿所有相关维度求和 支付金额、商品数量
半可加事实 可沿部分维度求和 账户余额、库存余额
不可加事实 不能直接求和 比率、单价、转化率
  • 可加事实:支付金额可以按用户、渠道、地区和日期汇总,但前提是支付事实表没有重复数据,且金额字段符合支付流水粒度。
  • 半可加事实:每日账户余额可以跨账户求和,却不能直接跨日期求和。跨日期分析通常使用期末值、期初值、平均余额或最大余额,具体取决于业务定义。
  • 不可加事实:客单价不应跨维度直接求和,更稳妥的做法是在事实表中保留分子和分母,由查询层重新计算,而不是保存一个可以被误求和的比率。

六、退化维度:订单号为什么可以留在事实表

维度退化是指某个业务标识具有维度意义,却没有值得拆出的描述属性,因此将标识直接保留在事实表中。常见退化维度包括:

复制代码
order_no               订单号
order_item_no          订单行号
pay_transaction_no     支付流水号
refund_no              退款单号
coupon_use_no          券核销流水号

退化维度的用途包括:

  • 查询单个业务单据;
  • 从汇总结果下钻到明细;
  • 关联同一业务流程中的多个事实表;
  • 支持按订单数、支付流水数等指标进行去重计数。

6.1.什么情况下不应退化

如果订单本身有大量稳定且经常参与分析的描述属性,例如订单类型、履约模式、来源系统和合同类型,可以考虑:

  1. 把这些属性放入相关业务维度;

  2. 设计订单微型维度;

  3. 保留订单号为退化维度,同时将分析属性分配到其他维度。

不建议只因为"订单号是字符串"就建立只有订单号一列的维度表。这会增加一次连接,却没有增加描述能力。

七、缓慢变化维:用户属性变了怎么办

缓慢变化维用于处理维度成员属性随时间发生的变化。常见方式包括:

  • Type 1:覆盖现有维度成员;
  • Type 2:插入带时间版本的新成员;
  • Type 3:在当前行中保留有限的历史属性。

7.1.Type 1:直接覆盖

ini 复制代码
变更前:
user_id = U1001
city = 杭洲

变更后:
user_id = U1001
city = 上海

适用于:

  • 源数据纠错;
  • 不需要历史分析的字段;
  • 手机号、邮箱等只关心当前值的属性。

影响是历史事实通过该用户维度查询时,也会显示为上海。

7.2.Type 2:增加版本行

ini 复制代码
                     用户 U1001
                          │
             2024-07-01 城市发生变化
                          │
             +------------+------------+
             |                         |
             v                         v
+------------------------+  +------------------------+
| user_sk = 101          |  | user_sk = 205          |
| user_id = U1001        |  | user_id = U1001        |
| city = 杭州            |  | city = 上海            |
| 2024-01-01~2024-06-30  |  | 2024-07-01~9999-12-31  |
| is_current = 0         |  | is_current = 1         |
+------------------------+  +------------------------+

Type 2 为变化后的维度成员插入新行,并分配新的代理键;从变化时点开始,新事实引用新的代理键。

它适用于:

  • 用户城市变化历史;
  • 会员等级变化;
  • 客户所属销售区域变化;
  • 商家经营分类变化;
  • 需要按事件发生时属性归因的场景。

这样既能回答"用户现在位于哪里",也能回答"订单发生时用户位于哪里"。

7.3.Type 3:增加有限历史列

复制代码
user_id
current_city
previous_city
city_change_date

Type 3 只保留有限历史,例如当前值和前一个值。它适用于只比较"变更前后"的场景,但无法保存任意数量的历史版本。

7.4.同一维度可以混合使用不同策略

用户维度不需要对所有字段采用同一种 SCD 类型:

python 复制代码
user_name          Type 1,纠错时覆盖
mobile_phone       Type 1,只关心当前联系方式
city               Type 2,保留历史归属
member_level       Type 2,分析历史等级
previous_segment   Type 3,只保留前一个客群

设计时应按属性决定历史策略,而不是笼统地说"用户维度使用 Type 2"。

八、维度表的代理键与业务键

维度表通常同时保留:

复制代码
user_sk    数仓生成的代理键
user_id    业务系统中的自然键或业务键

代理键主要解决三个问题:

  1. 同一个业务键在 SCD Type 2 中可以对应多个历史版本;

  2. 多个源系统可能产生相同格式的业务键;

  3. 数仓可以独立管理未知成员、失效成员和合并成员。

例如用户U1001 修改城市:

yaml 复制代码
user_sk  user_id  city      effective_from  effective_to  is_current
101      U1001    杭州      2024-01-01      2024-06-30    0
205      U1001    上海      2024-07-01      9999-12-31    1

这里的user_id 始终是U1001 ,但两个历史版本使用不同的user_sk 。事实表写入哪个代理键,取决于事件发生时间对应的维度版本。

九、事实表如何正确关联 SCD Type 2

假设订单发生在2024-06-20 ,用户在2024-07-01 从杭州迁至上海。

加载事实表时不能只关联is_current = 1 的用户版本,否则 6 月订单会错误归入上海。应按照业务键和事件时间匹配有效区间:

vbnet 复制代码
SELECT
    o.order_no,
    u.user_sk,
    o.order_time,
    o.payable_amount
FROM dwd_trade_order o
JOIN dim_user u
  ON o.user_id = u.user_id
 AND o.order_time >= u.effective_from
 AND o.order_time <  u.effective_to;

推荐使用左闭右开区间:

复制代码
[effective_from, effective_to)

这样相邻版本可以表示为:

yaml 复制代码
版本 1:[2024-01-01 00:00:00, 2024-07-01 00:00:00)
版本 2:[2024-07-01 00:00:00, 9999-12-31 00:00:00)

避免同时使用两端闭区间,否则变更时点可能命中两个版本。

9.1.迟到维度与迟到事实

真实数仓还会遇到:

  • 事实先到,维度未到;
  • 维度变更晚于实际生效时间到达;
  • 历史事实需要重新关联维度版本。

常用处理方式包括:

  1. 先关联"未知用户"代理键,维度到达后回补;
  2. 依据源系统提供的业务生效时间插入历史版本;
  3. 重算受影响时间范围内的事实外键;
  4. 区分业务生效时间与数仓处理时间。

十、从 DWD 和 DIM 落地事实模型

第一步:选择业务过程

不要从"有哪些源表"出发,应从"分析哪个业务事件"出发。

复制代码
交易、支付、退款、注册、登录、履约、库存

一个业务过程通常对应一张或一组事实表。

第二步:声明粒度

使用一句完整的话描述:

复制代码
每个订单一行
每个订单商品行一行
每次支付流水一行
每次退款资金流水一行
每个用户每天一行

避免使用"订单明细""支付明细"等模糊表述。

第三步:识别维度

围绕事件询问:

复制代码
何时发生?
由谁发起?
涉及什么商品或服务?
发生在哪个地区?
来自哪个渠道?
采用什么支付方式?
为什么退款?

答案通常对应日期、用户、商品、地区、渠道、支付方式和退款原因维度。

第四步:识别事实

事实必须能够在声明的粒度下解释:

复制代码
商品数量
商品原价金额
优惠金额
实付金额
支付手续费
退款金额
处理时长

为每个事实记录:

  • 业务定义;
  • 计算公式;
  • 金额币种;
  • 可加性;
  • 空值含义;
  • 正负号规则;
  • 是否含税;
  • 是否包含取消、失败或测试数据。

第五步:确定维度变化策略

逐个属性判断:

复制代码
是否只需要当前值?
是否需要按事件发生时状态分析?
是否只保留前一个值?
源系统是否提供业务生效时间?

再选择 Type 1、Type 2 或 Type 3。

第六步:生成代理键并装载事实

复制代码
加载维度
  → 处理 SCD 版本
  → 根据业务键和事件时间查找代理键
  → 加载事实表
  → 处理未匹配维度
  → 执行质量校验

第七步:验证可汇总性

markdown 复制代码
DWD 支付成功金额
    =
事实表支付金额

DWD 退款成功金额
    =
退款事实表金额

订单行实付金额汇总
    与订单头实付金额
    在业务允许的误差范围内一致

事实表行数
    =
符合范围的源业务事件数

还应检查:

  • 一对多关联是否造成事实膨胀;
  • SCD 有效区间是否重叠;
  • 同一业务键是否存在多个当前版本;
  • 未知维度占比是否异常;
  • 退款和冲正的正负号是否统一;
  • 去重计数使用的是业务单号还是事实行数。

最后在事实表上线前,可按以下逐项评审:

css 复制代码
[ ] 是否用一句话声明了事实表粒度?
[ ] 每个维度外键是否符合该粒度?
[ ] 每个度量是否符合该粒度?
[ ] 是否混入订单级、订单行级、支付级字段?
[ ] 一对多关联是否会复制金额?
[ ] 多对多关系是否使用桥接表和分摊规则?
[ ] 订单号、支付流水号是否适合做退化维度?
[ ] 度量属于可加、半可加还是不可加?
[ ] 用户等维度是否明确 SCD 策略?
[ ] Type 2 是否使用代理键和有效时间?
[ ] 是否处理迟到事实、迟到维度和未知成员?
[ ] 日期维度是否区分下单、支付、退款等角色?
[ ] 事实金额能否与 DWD 或业务系统对账?
[ ] 公共维度是否在多个业务过程间保持一致?
[ ] 雪花化是否有明确的治理或维护收益?
相关推荐
如夏倾城2 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk5552 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证2 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读4 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI4 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy19905 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli5 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
AI_Auto7 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造
注塑机数据采集联网7 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关