数据仓库概述

数据仓库是一个面向主题、集成、相对稳定、反映历史变化的数据集合,用于支持管理决策。它是过程而非项目,是环境而非产品,提供决策所需的当前和历史数据。

特点

面向主题:按主题域组织数据,不同于面向事务处理的操作型数据库。集成:对分散数据库数据抽取、清理、加工、汇总,消除不一致性,保证全局一致。相对稳定:以查询为主,数据长期保留,修改删除很少,定期加载刷新。反映历史变化:包含历史信息,可定量分析和预测趋势。

组成

数据仓库数据库:核心,存放数据并支持海量数据快速检索。数据抽取工具:从各种存储方式取出数据,转化整理后存入仓库,包括删除无意义数据、统一名称定义、计算衍生数据、处理缺值等。元数据:描述数据结构与建立方法,分技术元数据和商业元数据,为访问提供信息目录。访问工具:查询报表、应用开发、经理信息系统、联机分析处理、数据挖掘等工具。数据集市:为特定应用从仓库独立出的部分数据,也称部门数据或主题数据。

管理

包括安全与特权管理、跟踪数据更新、数据质量检查、元数据管理、审计与状态报告、数据删除、复制分割分发、备份恢复、存储管理。信息发布系统把数据发送给不同地点或用户,基于Web的发布系统是应对多用户访问的有效方法。

建立步骤

收集分析业务需求;建立数据模型和物理设计;定义数据源;选择技术和平台;从操作型数据库抽取、净化、转换数据;选择访问报表工具;选择数据库连接软件;选择分析展示软件;更新数据仓库。

相关推荐
注塑机数据采集联网1 天前
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
roman_日积跬步-终至千里2 天前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
程序员梅雨3 天前
【从零开始学习数据仓库 | 第二篇】: 拉链表 & 数仓分层
大数据·数据仓库·学习
roman_日积跬步-终至千里3 天前
数仓开发的三层责任:业务定义、模型设计与 SQL 实现
数据库·数据仓库·sql·数据建模
geovindu4 天前
SQL Data Sampling and Approximation Techniques using postgreSQL 18
大数据·数据库·数据仓库·sql·postgresql·数据库开发·数据库架构
程序员梅雨4 天前
【从零开始学习数据仓库 | 第一篇】:维度建模理论
大数据·数据仓库·学习·阿里云·数据分析
棣廷5 天前
初识数据仓库——数仓分层到DataX数据采集
数据仓库
棣廷5 天前
初识Hive(2)
数据仓库·hive·hadoop
geovindu6 天前
Pivoting and Unpivoting Data in SQL using postgreSQL 18
大数据·数据库·数据仓库·sql·postgresql·数据库开发·数据库架构