数据仓库概述

数据仓库是一个面向主题、集成、相对稳定、反映历史变化的数据集合,用于支持管理决策。它是过程而非项目,是环境而非产品,提供决策所需的当前和历史数据。

特点

面向主题:按主题域组织数据,不同于面向事务处理的操作型数据库。集成:对分散数据库数据抽取、清理、加工、汇总,消除不一致性,保证全局一致。相对稳定:以查询为主,数据长期保留,修改删除很少,定期加载刷新。反映历史变化:包含历史信息,可定量分析和预测趋势。

组成

数据仓库数据库:核心,存放数据并支持海量数据快速检索。数据抽取工具:从各种存储方式取出数据,转化整理后存入仓库,包括删除无意义数据、统一名称定义、计算衍生数据、处理缺值等。元数据:描述数据结构与建立方法,分技术元数据和商业元数据,为访问提供信息目录。访问工具:查询报表、应用开发、经理信息系统、联机分析处理、数据挖掘等工具。数据集市:为特定应用从仓库独立出的部分数据,也称部门数据或主题数据。

管理

包括安全与特权管理、跟踪数据更新、数据质量检查、元数据管理、审计与状态报告、数据删除、复制分割分发、备份恢复、存储管理。信息发布系统把数据发送给不同地点或用户,基于Web的发布系统是应对多用户访问的有效方法。

建立步骤

收集分析业务需求;建立数据模型和物理设计;定义数据源;选择技术和平台;从操作型数据库抽取、净化、转换数据;选择访问报表工具;选择数据库连接软件;选择分析展示软件;更新数据仓库。

相关推荐
Francek Chen1 天前
【大数据处理与分析】数据仓库Hive:04 数据仓库Hive概述
大数据·数据仓库·hive·hadoop·分布式
Moshow郑锴2 天前
从“水库”到“直饮水站”:重新理解 Data Mart 与 Data Lake、Data Lakehouse、Data Warehouse 的区别
数据仓库·data·湖仓一体
躺柒2 天前
读数据架构知识体系指南01关系数据仓库(上)
数据仓库·架构·数据分析·spark·数据湖·关系数据库·企业数据仓库
tianhuo0034 天前
从MySQL到Apache Doris:生鲜供应链数仓的ETL流水线与SARIMA需求预测全实
数据仓库·数据中台·零售行业供应链数字化
SendTomo4 天前
.ico透明图标在线生成下载平台深度解析
大数据·数据结构·数据库·数据仓库·个人开发
qingwufeiyang_5305 天前
IceBerg学习笔记2
数据仓库·数据湖
学代码的CJY7 天前
CJY 知识工作台:博客写作使用指南
数据仓库·知识图谱
喻师傅7 天前
Apache Hudi 概述:从 Parquet 更新难题到数据湖 Upsert
大数据·数据仓库·big data
宽海智能仓储物流10 天前
航发自动化立体库异构系统改造:宽海智能30天联调技术全解析
运维·数据仓库·自动化