大数据ODS、DWD、DWS、ADS 分层

ODS、DWD、DWS、ADS 含义解析

在数据仓库分层架构中,ODS、DWD、DWS、ADS 是最常见的四个核心层级,它们各自承担不同的数据处理与服务职责,形成自下而上的数据加工链路。

ODS(Operational Data Store,操作数据层) 作为数据入口层,ODS直接接收来自业务系统、日志、消息队列等的数据,尽量保持原貌,仅做必要的清洗与格式化,保证数据可追溯。 特点:数据粒度细、贴近源系统、分为当前数据与历史数据两类,主要作用是隔离业务系统与数仓核心层,减少对源系统的压力。

DWD(Data Warehouse Detail,明细数据层) 在ODS基础上进行数据清洗、去重、脱敏、维度退化等处理,确保数据质量与一致性。 特点:保持最细粒度,按业务过程建模(如订单、支付、物流),可适当宽表化以减少关联查询,为后续汇总层提供高质量明细数据。

DWS(Data Warehouse Summary,汇总数据层/服务数据层) 基于DWD数据进行轻度聚合与整合,生成面向主题的宽表(如用户行为宽表、订单宽表),支持80%以上的业务分析需求。 特点:字段多但表数量少,提升查询性能与指标复用性,是OLAP分析和业务查询的核心数据来源。

ADS(Application Data Service,应用数据层) 直接面向业务应用与数据产品,按需求输出定制化指标与报表数据,可存储在ES、Redis、PostgreSQL、Hive等系统中。 特点:结构与业务高度契合,即取即用,支持实时查询、可视化报表、数据挖掘等场景。

总结关系: ODS → DWD → DWS → ADS 数据从原始接入到清洗加工,再到主题汇总,最终形成可直接服务业务的应用数据,实现高质量、可维护、可扩展的数据体系。

相关推荐
安科瑞小许2 小时前
能碳管理平台:园区绿色转型的“智慧中枢”
大数据·人工智能·信息可视化·能源·双碳·光伏·零碳园区
StarChainTech2 小时前
打造火爆的线上推币机APP:一站式合规娱乐解决方案
大数据·人工智能·物联网·小程序·娱乐·软件需求·共享经济
Hello.Reader2 小时前
Flink TaskManager 内存配置从“总量”到“组件”,把资源用在刀刃上
大数据·flink
观远数据2 小时前
中国式报表是什么?观远BI如何赋能企业数据决策
大数据·数据挖掘·数据分析·时序数据库
小冷coding3 小时前
【ES】 Elasticsearch在电商系统中的核心应用场景与实践案例
大数据·elasticsearch·搜索引擎
EndingCoder3 小时前
高级项目:构建一个 CLI 工具
大数据·开发语言·前端·javascript·elasticsearch·搜索引擎·typescript
搞科研的小刘选手3 小时前
【虚拟现实/人机交互会议】第二届人工智能、虚拟现实与交互设计国际学术会议(AIVRID)
大数据·人工智能·计算机·aigc·虚拟现实·国际学术会议·交互技术
AORUO奥偌3 小时前
医用气体报警箱:构筑楼层气体安全的监测前哨
大数据·数据库
数说星榆1813 小时前
AI零售:个性化推荐与智能库存管理
大数据·人工智能·零售