数据仓库与ETL

什么是数据仓库

一种用于存储和管理数据的系统,提供一种统一方式,将不同来源、不同方式、不同时间的数据集成在一起。

数据仓库结构

主题域:一个特定领域的数据集,比如营销、销售、客户、库存等。

维度:定义数据的不同角度,时间、地点等。

事实表:存储实际数据,销售额、库存量等。

四个特点:

面向主题:数据仓库面向企业或组织主要的主题,不同于传统的数据库系统,数据仓库将企业不同的业务系统、数据来源整合到一起,使得用户可以集中处理特定主题的问题。

集成的:数据仓库与企业内部或外部的多个源系统整合,把这些单个的数据源整合到一起形成一张完整的数据库,使得企业数据变得完整、方便分析。

非易失的(稳定的、不可更新):数据仓库中的数据被认为是"非易失的"即一旦存储在仓库中就不会丢失。数据仓库需要保留历史数据以便分析,同时为了保证数据持久性,数据仓库采用了数据备份和恢复机制。

面向分析(反映历史变化、时间特性):数据仓库主要用于支持企业的决策分析过程。数据仓库的数据表结构、字段、视图等信息都是被设计为方便用户进行数据分析、交互、制图和报表的。同时,数据仓库采用了 OLAP 技术,使得用户可以进行复杂的多维数据分析,以及在线分析处理等操作。

主机不变

ETL过程

抽取数据:不同数据源抽取数据

转换:清洗、格式化、转换

加载:加载到数据仓库、分析和报表操作

全量加载

增量加载

相关推荐
上海潭龙东海科技有限公司18 小时前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
Francek Chen9 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
全栈陈序员12 天前
【Git】从入门到精通(二)—— Git安装与初次配置
数据仓库·git
程序员梅雨12 天前
【从零开始学习数据仓库 | 第三篇】: Flume——数据采集基石
java·大数据·数据仓库·后端·学习·flume
注塑机数据采集联网14 天前
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
roman_日积跬步-终至千里14 天前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
程序员梅雨15 天前
【从零开始学习数据仓库 | 第二篇】: 拉链表 & 数仓分层
大数据·数据仓库·学习
roman_日积跬步-终至千里15 天前
数仓开发的三层责任:业务定义、模型设计与 SQL 实现
数据库·数据仓库·sql·数据建模
geovindu16 天前
SQL Data Sampling and Approximation Techniques using postgreSQL 18
大数据·数据库·数据仓库·sql·postgresql·数据库开发·数据库架构
程序员梅雨17 天前
【从零开始学习数据仓库 | 第一篇】:维度建模理论
大数据·数据仓库·学习·阿里云·数据分析