数据仓库与ETL

什么是数据仓库

一种用于存储和管理数据的系统,提供一种统一方式,将不同来源、不同方式、不同时间的数据集成在一起。

数据仓库结构

主题域:一个特定领域的数据集,比如营销、销售、客户、库存等。

维度:定义数据的不同角度,时间、地点等。

事实表:存储实际数据,销售额、库存量等。

四个特点:

面向主题:数据仓库面向企业或组织主要的主题,不同于传统的数据库系统,数据仓库将企业不同的业务系统、数据来源整合到一起,使得用户可以集中处理特定主题的问题。

集成的:数据仓库与企业内部或外部的多个源系统整合,把这些单个的数据源整合到一起形成一张完整的数据库,使得企业数据变得完整、方便分析。

非易失的(稳定的、不可更新):数据仓库中的数据被认为是"非易失的"即一旦存储在仓库中就不会丢失。数据仓库需要保留历史数据以便分析,同时为了保证数据持久性,数据仓库采用了数据备份和恢复机制。

面向分析(反映历史变化、时间特性):数据仓库主要用于支持企业的决策分析过程。数据仓库的数据表结构、字段、视图等信息都是被设计为方便用户进行数据分析、交互、制图和报表的。同时,数据仓库采用了 OLAP 技术,使得用户可以进行复杂的多维数据分析,以及在线分析处理等操作。

主机不变

ETL过程

抽取数据:不同数据源抽取数据

转换:清洗、格式化、转换

加载:加载到数据仓库、分析和报表操作

全量加载

增量加载

相关推荐
RestCloud1 天前
ETL数据集成产品选型需要关注哪些方面?
数据仓库·api·etl·数据处理·数据转换·数据集成工具·集成平台
不剪发的Tony老师2 天前
DataX:一个开源的离线数据同步工具
etl·datax
maray2 天前
ETL 学习
数据仓库·学习·etl
wuli玉shell2 天前
Bitmap原理及Hive去重方式对比
数据仓库·hive·hadoop
SelectDB技术团队2 天前
永久免费!专为 Apache Doris 打造的可视化数据管理工具 SelectDB Studio V1.1.0 重磅发布!
数据仓库·apache·doris·数据可视化·日志数据
RestCloud3 天前
国产ETL数据集成软件和Informatica 相比如何
数据仓库·etl·数据集成工具·集成平台·informatica
RestCloud4 天前
产品更新丨谷云科技 iPaaS 集成平台 V7.5 版本发布
数据仓库·系统安全·api·数字化转型·ipaas·数据集成平台·集成平台
RestCloud4 天前
数据清洗(ETL/ELT)原理与工具选择指南:企业数字化转型的核心引擎
数据仓库·数据安全·etl·数据集成·elt·集成平台
wingaso4 天前
[经验总结]删除gitlab仓库分支报错:错误:无法推送一些引用到“http:”
linux·数据仓库·git
RestCloud5 天前
企业对数据集成工具的需求及 ETL 工具工作原理详解
数据仓库·系统安全·etl·数字化转型·数据集成平台·集成平台