数据仓库理论知识

1、数据仓库的概念

数据仓库(英文:Date Warehouse,简称数仓、DW),是一个用于数据存储、分析、报告的数据系统。数据仓库的建设目的是面向分析的集成化数据环境,其数据来源于不同的外部系统,其结果开放给不同外部应用使用,为企业提供决策支持;

2、数据仓库的主要特征

数据仓库是面向主题性 (Subject-Oriented )、集成性 (Integrated)、非易失性 (Non-Volatile)和时变性(Time-Variant )数据集合,用以支持管理决策 。

3、数据库和数据仓库的区别:

  • 数据源:数据库的数据仅包含当前运行的日常业务数据,而数据仓库的数据是整合了多个外部系统的数据包括OLTP。
  • 目的:数据库的建设目的面向应用、面向业务、支持事务,而数据据仓库的建设是面向主题、面向分析、支持决策的
  • 焦点:数据库关注的数据焦点是当下,而数据仓库则是面向过去、面向历史、实时数仓。
  • 任务:数据库存在读写操作,而数据仓库是大量的读数据而很少有写操作。
  • 响应时间:数据库是毫秒级别,数据仓库库秒、分钟、小时或则天,主要取决于数据量和查询的复杂度。
  • 数据量:数据库小数据,MB、GB级别的,而数据仓库则是大数据TB、PB级别
  1. 数据仓库不是大型的数据库,虽然数据仓库存储数据规模大。
  2. 数据仓库的出现,并不是要取代数据库。
  3. 数据库是面向事务的设计,数据仓库是面向主题设计的。
  4. 数据库一般存储业务数据,数据仓库存储的一般是历史数据。
  5. 数据库是为捕获数据而设计,数据仓库是为分析数据而设计

4、数据仓库、数据集市

数据仓库是面对整个集团和组织的数据,而数据集是面向单个部门使用的,可以认为数据集市是数据仓库的子集。用户可以基于主题数据开展各种应用:数据分析、数据报表、数据挖掘。

5、数据仓库分层架构

详解-ODS-DWD-DWS-ADS

相关推荐
言無咎2 小时前
从规则引擎到任务规划:AI Agent 重构跨境财税复杂账务处理体系
大数据·人工智能·python·重构
私域合规研究3 小时前
【AI应用】AI与大数据融合:中国品牌出海获客的下一代核心引擎
大数据·海外获客
TDengine (老段)3 小时前
金融风控系统中的实时数据库技术实践
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
MMME~4 小时前
Ansible模块速查指南:高效定位与实战技巧
大数据·运维·数据库
计算机毕业编程指导师4 小时前
大数据可视化毕设:Hadoop+Spark交通分析系统从零到上线 毕业设计 选题推荐 毕设选题 数据分析 机器学习 数据挖掘
大数据·hadoop·python·计算机·spark·毕业设计·城市交通
计算机毕业编程指导师4 小时前
【计算机毕设选题】基于Spark的车辆排放分析:2026年热门大数据项目 毕业设计 选题推荐 毕设选题 数据分析 机器学习 数据挖掘
大数据·hadoop·python·计算机·spark·毕业设计·车辆排放
talle20214 小时前
Hive | 行列转换
数据仓库·hive·hadoop
珠海西格4 小时前
远动通信装置为何是电网安全运行的“神经中枢”?
大数据·服务器·网络·数据库·分布式·安全·区块链
ha_lydms4 小时前
DataWorks离线同步 OSS文件
大数据·阿里云·oss·dataworks·maxcompute·数据同步·离线计算
山峰哥5 小时前
SQL优化全解析:从索引策略到查询性能飞跃
大数据·数据库·sql·编辑器·深度优先