数据仓库、大数据平台和数据中台都是指什么

1、物流仓库到数据仓库

数据:对某一类实体信息的描述

仓库:对所有实体的集中化管理

这是物流仓库

下面是数据仓库

ODS层:采集各个业务系统的数据,是数据的统一入口,在这里进行分析并不影响业务系统(起到保存历史数据的作用)。

DWD层:类似物流仓库的分拣层,存储已经清洗的数据(跨业务的数据)。

DWS层:类似物流仓库的仓储区,数据分类(业务划分)存储。

APP层:类似物流仓库的配货区,对数据做专题分析。

元数据库:管理整个数据仓库,保存数据源、数据库表结构,保存清洗规则和标准。数据仓库的数据管理策略都保存在元数据库。

这是一个实际的数仓示意图:

2、大数据平台

下面是一个大数据平台示意图:

3、数据中台

是一个拥有所有开发工具和开发环境的集成系统。

就好像Spring家族的框架逐步统一了JavaWeb的开发环境一样,数据中台就是数据仓库+大数据平台+标准统一的环境支持。

比如在数据仓库,ETL是一个外部功能,而中台把ETL集成在系统内。

中台的特点:

  • 统一技术环境:集合如大数据技术(hadoop,hive)、前后端框架、数据库等,避免技术选型以及重复性环境配置,可复用性高。
  • 数据处理过程产品化:封装数据仓库中的数据操作细节,业务人员也可以通过暴露的功能进行简单的数据分析操作(整合数据汇聚、数据处理、数据可视化等功能)。
  • 统一数据规范:统一数据标准,比如对手机号的校验,中台会提供一个统一的入口。
  • 统一数据管理:如系统权限。

4、业务系统和数据系统

这是一个业务系统

业务系统注重数据的实时性,而数据系统注重数据的分析,一般采用历史数据,得出的分析结论要实时反哺到业务系统,从而更好地支持业务工作。比如根据历史数据实时分析计算客户征信等级,当需要给某客户办理贷款额度的时候就可以调用数据系统的结果,这就是数据系统反哺业务的一个例子。

OLAP (Online Transaction Processing 在线分析处理)和OLTP(Online Analytical Processing 在线事务处理)的区别示意图:

相关推荐
阿里云大数据AI技术3 小时前
淘天集团基于 Fluss、Paimon 与 StarRocks 构建湖流一体数据链路
大数据·人工智能·flink
RFID固定资产管理系统3 小时前
适配媒体行业的固定资产管理软件有哪些功能与核心优势
大数据·人工智能·python·媒体
lupai5 小时前
手机归属地查询 API 新手接入指南
大数据·智能手机·api接口
数据皮皮侠AI5 小时前
上市公司数字供应链金融指数(2010-2024)
大数据·人工智能·算法
ACP广源盛139246256736 小时前
DeepSeek‑V4‑Flash 公测@ACP#昇腾 950 国产算力组合落地,国产 PCIe 交换芯片 IX9104 有哪些硬件机会
大数据·数据库·人工智能·分布式·单片机·嵌入式硬件·microsoft
2601_949499947 小时前
芯瑞科技400G VR4 QSFP-DD光模块:低功耗高密短距互联方案,赋能AI智算中心算力网络升级
大数据·运维·网络·人工智能·科技·光模块
Raas1008 小时前
MAIGateway,魔芋企业级AI网关的FinAPI成本归因设计
大数据·人工智能·网关·api网关·finapi
Pokerhead8 小时前
一个 Codex,能装下所有 AI 模型?
大数据·人工智能·ai·大模型·ai编程·codex
RD_daoyi9 小时前
Google核心算法不再通知!全年持续滚动更新
大数据·服务器·前端·网络·搜索引擎·.net
2601_962966649 小时前
会计岗位进阶指南:8 张国家认可证书阶梯解析
大数据·数据分析