数仓建模（六）从ODS到DWD、DWS、ADS

在数据仓库建设中，ODS、DWD、DWS、ADS是大家经常接触的术语，它们代表了数据流转的不同阶段。这些术语虽然专业，但其背后的含义却相对直观。通过深入理解这些概念，大家可以更高效地设计和优化数据仓库架构。本文将以通俗语言解析这些术语，并分析它们在数据仓库中的具体作用。

[1. ODS（Operational Data Store）------操作数据存储](#1. ODS（Operational Data Store）——操作数据存储)

[1.1 ODS是什么？](#1.1 ODS是什么？)

[1.2 ODS的核心特点](#1.2 ODS的核心特点)

[1.3 ODS的作用](#1.3 ODS的作用)

[1.4 ODS的典型场景](#1.4 ODS的典型场景)

[1.5 ODS的常见问题与应对策略](#1.5 ODS的常见问题与应对策略)

[1.6 ODS与其他层的关系](#1.6 ODS与其他层的关系)

[1.7 ODS技术实现的关键点](#1.7 ODS技术实现的关键点)

[1.8 ODS的发展趋势](#1.8 ODS的发展趋势)

[2. DWD（Data Warehouse Detail）------明细数据层](#2. DWD（Data Warehouse Detail）——明细数据层)

[2.1 DWD是什么？](#2.1 DWD是什么？)

[2.2 DWD的核心特点](#2.2 DWD的核心特点)

[2.3 DWD的作用](#2.3 DWD的作用)

[2.4 DWD的典型场景](#2.4 DWD的典型场景)

[2.5 DWD的常见问题与解决策略](#2.5 DWD的常见问题与解决策略)

[2.6 DWD与其他层的关系](#2.6 DWD与其他层的关系)

[2.7 技术实现与工具选择](#2.7 技术实现与工具选择)

[2.8 DWD的优化方向](#2.8 DWD的优化方向)

[3. DWS（Data Warehouse Summary）------汇总数据层](#3. DWS（Data Warehouse Summary）——汇总数据层)

[3.1 DWS是什么？](#3.1 DWS是什么？)

[3.2 DWS的核心特点](#3.2 DWS的核心特点)

[3.3 DWS的作用](#3.3 DWS的作用)

[3.4 DWS的典型场景](#3.4 DWS的典型场景)

[3.5 DWS的设计原则](#3.5 DWS的设计原则)

[3.6 DWS的常见问题与解决策略](#3.6 DWS的常见问题与解决策略)

[3.7 技术实现与工具选择](#3.7 技术实现与工具选择)

[4. ADS（Application Data Store）------应用数据层](#4. ADS（Application Data Store）——应用数据层)

[4.1 ADS是什么？](#4.1 ADS是什么？)

[4.2 ADS的核心特点](#4.2 ADS的核心特点)

[4.3 ADS的作用](#4.3 ADS的作用)

[4.4 ADS的典型场景](#4.4 ADS的典型场景)

[4.5 ADS的设计原则](#4.5 ADS的设计原则)

[4.6 ADS的技术实现](#4.6 ADS的技术实现)

[4.7 ADS的优化方向](#4.7 ADS的优化方向)

1. ODS（Operational Data Store）------操作数据存储

ODS作为数据仓库的第一站，承载着连接源系统与数据仓库其他层次的重要任务。它不仅是原始数据的存储地，也是数据清洗、整合的出发点。通过合理设计和管理ODS层，企业可以确保数据的完整性、实时性和可用性，从而为后续的分析和决策提供坚实的基础。

1.1 ODS是什么？

ODS（操作数据存储）是数据仓库的起点，主要用于存储从多个业务系统中采集的原始数据。它类似于一个"原材料仓库"，承载了数据仓库中最原始的部分。这些数据可能是从ERP、CRM、日志系统、传感器数据或第三方平台等多种来源采集而来。

1.2 ODS的核心特点

实时性强： ODS中的数据通常与业务系统保持高度同步，能够近实时地获取最新数据。这一特点使其适合于支持短期内的运营需求，比如实时监控、简单报表等。
未加工状态： ODS中的数据基本是"原生态"，未经任何清洗或加工，可能包含重复、不一致甚至错误的信息。
多样性和复杂性： 数据可能是结构化、半结构化或者非结构化的。例如，ERP系统的订单表是结构化数据，而用户点击日志则属于半结构化数据。
生命周期短： ODS并不是数据的长期存储地，其主要目的是支持数据清洗和加工，因此数据会随着时间被迁移到其他层，或者被清理。

1.3 ODS的作用

统一数据入口： ODS是数据仓库的"统一入口"，从不同来源系统获取的数据会首先进入ODS进行存储。
提供原始数据： 后续的清洗、分析、建模等操作都需要基于原始数据，ODS的完整性对整个数据链条的可靠性至关重要。
支持轻量级查询： 尽管ODS主要为后续处理提供原始数据，但在某些场景下，也可用于轻量级的实时查询或分析。例如，短时间内的订单总量查询。
数据备份和恢复： ODS还可以作为业务系统数据的备份点，为应对突发情况（如源系统数据丢失）提供支持。

1.4 ODS的典型场景

实时订单流处理： 在电商平台中，用户下单行为会立即记录到ODS中，为实时监控和后续分析提供支持。
跨系统数据整合： 比如，将CRM系统中的客户信息和ERP系统中的订单信息整合到ODS中，为后续统一处理奠定基础。
日志存储和初步分析： 网站用户的访问日志首先进入ODS，随后进行清洗和行为分析。
设备数据采集： 工业场景下，来自传感器或机器设备的数据会直接写入ODS，为后续的设备状态监控和故障预测提供基础。

1.5 ODS的常见问题与应对策略

问题：数据量过大，存储成本高。
- 策略： 使用高效的压缩技术和分区存储策略，如基于时间或业务分类进行数据分区。
问题：数据质量问题，如重复或异常数据。
- 策略： 在数据进入ODS时，设计基础的校验机制，比如主键重复检查或字段完整性校验。
问题：多源数据格式不一致。
- 策略： 建立标准化的字段映射规则，将不同系统的数据格式规范化，方便后续处理。

1.6 ODS与其他层的关系

可以将ODS视为数据仓库中的"起点"，它为DWD层提供最基础的数据来源。

从ODS到DWD： 数据从ODS进入DWD时，通常需要进行清洗和规范化处理。例如，将ODS中的原始订单数据去重、填补缺失值，并格式化时间字段。
实时性权衡： ODS需要满足高频数据写入和快速读取的要求，而DWD更注重清洗后的数据质量，因此二者在设计上需要兼顾实时性与数据完整性的平衡。

1.7 ODS技术实现的关键点

ETL工具： 借助流行的ETL工具（如Apache Nifi、Apache Kafka、Talend），实现多源数据的采集、导入与基本清洗。
存储技术： 选择合适的存储技术来支撑高频的数据写入需求，例如传统关系型数据库（MySQL、PostgreSQL）、分布式存储（Hadoop HDFS）或实时处理框架（Apache HBase）。
数据监控： 通过建立数据质量监控系统，实时检测ODS中的数据异常情况，及时预警和修复。

1.8 ODS的发展趋势

随着技术的不断演进，ODS的设计和实现也在发生变化：

实时化趋势： 越来越多的企业引入流式计算框架（如Apache Kafka和Flink），实现高频数据流的实时写入和处理。
云原生化： 借助云服务（如AWS S3、Azure Blob Storage），降低本地存储的成本，提高弹性和可扩展性。
智能化数据管理： 利用AI技术对ODS中的数据质量进行智能化监控和优化，减少人工干预。

2. DWD（Data Warehouse Detail）------明细数据层

DWD是数据仓库架构中承上启下的重要一环，通过对原始数据的清洗和规范化处理，显著提升了数据的质量和可用性。合理设计和优化DWD层，不仅能够为上层建模提供强有力的支撑，还能为企业的业务分析和决策提供高价值的数据基础。

2.1 DWD是什么？

DWD（明细数据层）是对ODS中的原始数据进行清洗、加工和规范化处理后的结果。它是数据仓库中至关重要的一环，可以看作是ODS和上层模型之间的"桥梁"。DWD的主要任务是确保数据质量，消除原始数据中的杂质和冗余，为后续的数据分析打下基础。

2.2 DWD的核心特点

数据清洗和标准化： 对ODS中的数据进行处理，包括去重、填补缺失值、修正异常值以及字段标准化。
细粒度数据存储： 保留原始数据的详细信息，为后续的多维度分析提供支持。
字段逻辑统一： 将来自不同系统的数据字段进行统一命名和格式化处理，减少数据不一致问题。
可追溯性： DWD保留了数据的来源和变更记录，方便问题溯源。

2.3 DWD的作用

提升数据质量： 通过清洗和规范化，确保后续分析所需数据的准确性和一致性。
建立统一视图： 不同系统数据经过DWD处理后，以一致的视图呈现给上层应用。
支撑多维度分析： DWD提供细粒度数据，允许业务分析以更灵活的方式切入数据。
减少重复计算： DWD层将数据处理从上层模型中剥离，减少重复计算和资源浪费。

2.4 DWD的典型场景

电商订单数据处理： 从ODS中提取订单数据，清洗后保留用户信息、订单详情和支付状态，为后续分析提供支持。
行为日志分析： 将用户访问日志清洗成标准化的行为表，如点击、搜索、停留时间等。
财务数据整合： 汇总来自不同系统的财务数据，统一货币单位和时间格式，生成标准化的财务明细。

2.5 DWD的常见问题与解决策略

问题：数据清洗耗时过长。
- 策略： 优化ETL流程，采用分布式计算框架（如Spark）进行并行处理。
问题：字段标准化规则复杂。
- 策略： 制定统一的字段映射文档，并使用自动化脚本实施标准化操作。
问题：数据量庞大导致存储成本上升。
- 策略： 使用分区存储和列式存储（如Parquet、ORC）降低存储成本，提高读取效率。

2.6 DWD与其他层的关系

从ODS到DWD： ODS中的原始数据经过ETL流程进入DWD层，这一过程中数据会被清洗、规范化并补充必要的业务逻辑。
从DWD到DWS： DWD层的数据以细粒度的形式提供给DWS，供其按业务需求进行聚合和建模。

2.7 技术实现与工具选择

数据处理框架： 使用Spark、Flink等大数据处理工具，提高数据清洗和标准化效率。
存储技术： 选择支持大规模数据存储的技术，如HDFS、Amazon S3，并结合列式存储优化查询性能。
监控和日志： 引入数据质量监控工具（如Great Expectations），及时发现和修复数据问题。

2.8 DWD的优化方向

自动化： 通过自动化清洗脚本和调度系统（如Apache Airflow），减少人工操作，提高处理效率。
动态更新： 支持增量更新机制，避免全量处理带来的资源浪费。
实时处理： 在某些场景下引入流式处理，进一步缩短数据从ODS到DWD的延迟时间。

3. DWS（Data Warehouse Summary）------汇总数据层

DWS是数据仓库中连接细粒度数据与业务决策的重要桥梁，通过对数据进行主题化和聚合化处理，支持企业快速响应业务需求。合理设计和优化DWS层能够显著提升数据的可用性与查询效率，为企业的数据驱动决策提供强有力的支持。

3.1 DWS是什么？

DWS（汇总数据层）是基于DWD层的数据，按照业务需求进行加工和汇总的结果。它的主要目的是将细粒度数据转化为面向主题的分析数据，从而支持快速的查询和决策。

3.2 DWS的核心特点

主题化： DWS的数据围绕特定的业务主题进行组织，例如用户行为、销售趋势、库存情况等。
聚合化： DWS将细粒度数据按照业务需求进行聚合，生成常用指标，例如日活跃用户数、月度销售额。
性能优化： 通过提前计算聚合结果，减少实时查询的计算开销，提高响应速度。
定制化： 根据不同业务部门的需求，生成特定视图或数据集。

3.3 DWS的作用

支持业务决策： DWS为管理层提供关键业务指标，支持日常决策和长期战略规划。
提升查询效率： 聚合后的数据大幅减少了查询时的计算量，显著提高响应速度。
增强数据易用性： DWS以主题为中心的组织方式，使得业务人员能够更容易地理解和使用数据。
减少冗余计算： 通过预先计算常用指标，避免了实时计算的资源浪费。

3.4 DWS的典型场景

销售数据汇总： 按照日、月、季度汇总销售额、订单量等指标，支持趋势分析。
用户留存分析： 按日、周、月汇总用户活跃情况，计算留存率、流失率等关键指标。
库存管理： 汇总各仓库的库存状态，支持库存优化和补货策略。

3.5 DWS的设计原则

明确业务需求： DWS的设计需要紧密围绕业务需求，确保提供的数据具有实际价值。
层级分明： 根据数据的聚合维度划分层次，例如日、周、月的指标数据分开存储。
冗余最小化： 在设计中尽量避免重复存储，同时确保关键指标的可追溯性。
性能优先： 针对常用查询场景优化存储结构和索引设计。

3.6 DWS的常见问题与解决策略

问题：数据汇总规则复杂，导致计算延迟。
- 策略： 优化聚合逻辑，采用分布式计算框架（如Hive、Spark SQL）加速处理。
问题：聚合结果不一致。
- 策略： 制定统一的指标口径文档，并严格执行。
问题：查询性能瓶颈。
- 策略： 针对高频查询建立物化视图或使用缓存技术。

3.7 技术实现与工具选择

数据仓库工具： 使用如ClickHouse、Greenplum等支持高性能聚合计算的工具。
OLAP引擎： 借助Apache Kylin、Druid等OLAP引擎构建多维分析模型。
数据建模工具： 使用PowerDesigner或ERWin进行逻辑建模和优化。

4. ADS（Application Data Store）------应用数据层

ADS是数据仓库面向最终用户的核心层，它直接服务于具体业务场景

4.1 ADS是什么？

ADS（应用数据层）是数据仓库中的"成品库"，它是面向具体应用场景的数据集。ADS通常是为了解决特定业务需求而设计的，数据经过高度聚合和加工，直接支持报表生成、业务应用和高级分析。

4.2 ADS的核心特点

高度定制化： 根据具体业务需求设计数据模型，例如营销分析、风险控制等。
实时性强： 针对实时性要求较高的场景（如实时推荐、监控告警），ADS层会直接对接流式数据。
简洁易用： 数据已经高度组织化和结构化，便于非技术人员使用。
性能优化： 通过索引、缓存、分区等方式确保快速响应用户查询。

4.3 ADS的作用

支持业务操作： 例如，提供实时订单状态，用于客户服务查询。
驱动业务决策： 基于历史数据和实时数据生成分析报表，辅助管理层做出决策。
增强客户体验： 在用户行为分析的基础上，支持个性化推荐和精准营销。
实时监控与告警： 提供关键指标的实时推送和异常告警。

4.4 ADS的典型场景

精准营销： 基于用户画像和购买记录，生成针对性营销活动。
实时推荐： 在电商或流媒体场景下，根据用户行为实时推荐商品或内容。
业务监控： 对关键运营指标（如销售额、故障率）进行实时监控并触发告警。
智能客服： 快速检索客户历史数据，提升客服响应效率。

4.5 ADS的设计原则

明确目标场景： 每个ADS表都应该服务于一个明确的业务需求，例如报表生成或实时监控。
聚焦性能： 使用索引、缓存技术，确保数据查询的高效性。
数据精简： 只保留业务所需字段，避免冗余数据存储。
定期维护： 清理过期数据，确保存储效率。

4.6 ADS的技术实现

流处理框架： 使用Flink、Kafka Streams等技术实现实时数据处理。
数据展示工具： 结合BI工具（如Tableau、Power BI）将ADS层数据可视化。
高性能数据库： 使用支持实时查询的数据库（如Redis、Elasticsearch）提升性能。

4.7 ADS的优化方向

实时性提升： 引入更高效的流处理技术，降低延迟。
动态扩展： 针对高并发场景，优化存储和查询性能。
用户友好性： 提供简单易懂的接口或查询工具，降低使用门槛。