数据仓库、大数据平台和数据中台都是指什么

1、物流仓库到数据仓库

数据:对某一类实体信息的描述

仓库:对所有实体的集中化管理

这是物流仓库

下面是数据仓库

ODS层:采集各个业务系统的数据,是数据的统一入口,在这里进行分析并不影响业务系统(起到保存历史数据的作用)。

DWD层:类似物流仓库的分拣层,存储已经清洗的数据(跨业务的数据)。

DWS层:类似物流仓库的仓储区,数据分类(业务划分)存储。

APP层:类似物流仓库的配货区,对数据做专题分析。

元数据库:管理整个数据仓库,保存数据源、数据库表结构,保存清洗规则和标准。数据仓库的数据管理策略都保存在元数据库。

这是一个实际的数仓示意图:

2、大数据平台

下面是一个大数据平台示意图:

3、数据中台

是一个拥有所有开发工具和开发环境的集成系统。

就好像Spring家族的框架逐步统一了JavaWeb的开发环境一样,数据中台就是数据仓库+大数据平台+标准统一的环境支持。

比如在数据仓库,ETL是一个外部功能,而中台把ETL集成在系统内。

中台的特点:

  • 统一技术环境:集合如大数据技术(hadoop,hive)、前后端框架、数据库等,避免技术选型以及重复性环境配置,可复用性高。
  • 数据处理过程产品化:封装数据仓库中的数据操作细节,业务人员也可以通过暴露的功能进行简单的数据分析操作(整合数据汇聚、数据处理、数据可视化等功能)。
  • 统一数据规范:统一数据标准,比如对手机号的校验,中台会提供一个统一的入口。
  • 统一数据管理:如系统权限。

4、业务系统和数据系统

这是一个业务系统

业务系统注重数据的实时性,而数据系统注重数据的分析,一般采用历史数据,得出的分析结论要实时反哺到业务系统,从而更好地支持业务工作。比如根据历史数据实时分析计算客户征信等级,当需要给某客户办理贷款额度的时候就可以调用数据系统的结果,这就是数据系统反哺业务的一个例子。

OLAP (Online Transaction Processing 在线分析处理)和OLTP(Online Analytical Processing 在线事务处理)的区别示意图:

相关推荐
xianghongtao01161 分钟前
麦肯锡2026技术趋势04_AI基础设施与模型架构_研究解读
大数据·人工智能·架构
A 杨乐1821005189111 分钟前
2027第十三届中国国际养老服务业博览会
大数据·人工智能
ShawnLiaoking41 分钟前
ADS305 Big Data Lecuture4 Web Scraping
大数据·前端
计算机毕业编程指导师1 小时前
【计算机毕设选题】基于Hadoop+Spark的化妆品销售数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·课程设计·化妆品
奈落241 小时前
DeepSeek Harness 开源贡献手记:从 Issue 认领到 PR 合入的完整实践
大数据·人工智能·安全·搜索引擎·开源
码艺-Alimjan1 小时前
Tauri 项目 和 Vben-Admin 项目 源码打包哲学
大数据·elasticsearch·搜索引擎
躺柒1 小时前
读数据架构知识体系指南16数据网格(上)
数据仓库·架构·数据分析·数据湖·数据架构·关系数据库
计算机毕业设计杰瑞1 小时前
【精品大数据项目】基于大数据的药品多维度属性分析与可视化的设计与实现,附源码_数据可视化_数据分析_毕设选题推荐_SPark_Hadoop_文档指导ppt
大数据·信息可视化·数据分析
samFuB1 小时前
【数据集】地市健康城市与公共卫生响应文本分析词频数据(2005-2025年)
大数据
人工智能培训2 小时前
数字孪生驱动大模型工业知识库:为具身机器人植入领域专业经验
大数据·linux·服务器·前端·人工智能