20251202

目录

1.在 DWD 层中采用维度建模,其它层不用建模吗?

  • DWD层 是数仓的细颗粒度数据层,通常采用 维度建模(星型模型、雪花模型等),以便后续分析、汇总和统计。
  • 其它层,如 ODS(操作数据存储层)、DWS(服务数据层)、ADS(应用数据层),也都涉及建模,但侧重点不同:
    • ODS层: 通常是几乎1:1同步业务数据库,不需要复杂建模,只做部分清洗、去重等。
    • DWD层: 开始做 维度建模,规范字段、打标签、拆分维度和事实,便于统一口径和后续计算,消除业务表的冗余和"语义不清"。
    • DWS层: 按分析主题和需求做轻度建模、汇总,通常是宽表或聚合表,便于查询。
    • ADS层: 面向应用,按具体需求(报表、画像、指标)建模型,表结构与下游展现紧密对应。

结论:数仓每个层级都需要建模,只是建模的深度和方式不同。DWD层建模最典型,维度建模最成熟。

2.为什么要建模?

  • 目的和必要性
    • 简化分析复杂度: 业务数据库的表往往为功能服务,字段繁杂、冗余多,分析不方便。
    • 统一语义: 维度建模能规范字段定义,统一业务口径,防止"同名不同义"或"同义不同名"。
    • 方便扩展: 维度建模能灵活应对新需求,比如加新指标、新维度,不需要频繁改动原业务表结构。
    • 提高查询效率: 结构清晰后,业务数据才能高效支撑分析和数据服务。
    • 例如:原始业务库有订单表,每笔订单有几十个字段,部分字段有杂质、无用、语义不清。维度建模后,变成事实表和多个维度表,各字段标准定义,方便关联。

3.DWD层的数据来源不是业务库或者日志吗?为什么不直接继承来源表?

  • DWD层虽是从业务表或日志表抽数过来,但不是简单的 1:1 继承。需要处理:
    • 清洗(去重、纠正脏数据)
    • 字段标准化(格式统一、命名统一、时间等字段合理转换)
    • 抽象维度(如时间、地点、产品等变为维度表,可复用)
    • 剥离与业务强相关的偶发字段,增强结构的通用性
  • 有些来源表字段不适合直接继承,比如:
    • 过于冗长、涉及隐私、仅技术用途的原始字段
    • 一些字段需要合并、转换,如 status 转为多个标签
    • 分类、枚举需要提炼为维度表以复用

字段不能凭空产生,但也不应照搬;需要经过合适的设计和抽取,形成数仓层的标准结构。

总结一句话

DWD层不是原始业务库的简单镜像,而是通过维度建模,清洗、标准化、规范化业务数据,为后续分析场景打下坚实基础。数仓的其它层也有建模需求(但方式各有不同),建模能让数据使用、分析更高效、更便于管理和维护。

相关推荐
juniperhan2 小时前
Flink 系列第24篇:Flink SQL 集成维度表指南:存储选型、参数调优与实战避坑
大数据·数据仓库·sql·flink
RestCloud15 小时前
ETL数据质量保障:如何通过优化提升数据准确性?
数据仓库·etl·数据处理·数据传输·数据同步·数据集成平台
2501_927283582 天前
荣联汇智助力天津艺虹打造“软硬一体”智慧工厂,全流程自动化引领印刷包装行业数智变革
大数据·运维·数据仓库·人工智能·低代码·自动化
孤雪心殇2 天前
快速上手数仓基础知识
数据仓库·hive·spark
渣渣盟2 天前
数据仓库 vs 数据湖 vs 湖仓一体:架构演进与选型
数据仓库·架构
juniperhan2 天前
Flink 系列第22篇:Flink SQL 参数配置与性能调优指南:从 Checkpoint 到聚合优化
大数据·数据仓库·分布式·sql·flink
juniperhan3 天前
Flink 系列第21篇:Flink SQL 函数与 UDF 全解读:类型推导、开发要点与 Module 扩展
java·大数据·数据仓库·分布式·sql·flink
地球资源数据云3 天前
1960年-2024年中国棉花产量数据集
大数据·数据结构·数据仓库·人工智能
i建模3 天前
在数据仓库(数仓)中,给数据打标签(Tagging)
数据仓库
地球资源数据云4 天前
1900-2023年中国物种分布点位矢量数据集
大数据·数据结构·数据库·数据仓库·人工智能