数据仓库概述

数据仓库是一个面向主题、集成、相对稳定、反映历史变化的数据集合,用于支持管理决策。它是过程而非项目,是环境而非产品,提供决策所需的当前和历史数据。

特点

面向主题:按主题域组织数据,不同于面向事务处理的操作型数据库。集成:对分散数据库数据抽取、清理、加工、汇总,消除不一致性,保证全局一致。相对稳定:以查询为主,数据长期保留,修改删除很少,定期加载刷新。反映历史变化:包含历史信息,可定量分析和预测趋势。

组成

数据仓库数据库:核心,存放数据并支持海量数据快速检索。数据抽取工具:从各种存储方式取出数据,转化整理后存入仓库,包括删除无意义数据、统一名称定义、计算衍生数据、处理缺值等。元数据:描述数据结构与建立方法,分技术元数据和商业元数据,为访问提供信息目录。访问工具:查询报表、应用开发、经理信息系统、联机分析处理、数据挖掘等工具。数据集市:为特定应用从仓库独立出的部分数据,也称部门数据或主题数据。

管理

包括安全与特权管理、跟踪数据更新、数据质量检查、元数据管理、审计与状态报告、数据删除、复制分割分发、备份恢复、存储管理。信息发布系统把数据发送给不同地点或用户,基于Web的发布系统是应对多用户访问的有效方法。

建立步骤

收集分析业务需求;建立数据模型和物理设计;定义数据源;选择技术和平台;从操作型数据库抽取、净化、转换数据;选择访问报表工具;选择数据库连接软件;选择分析展示软件;更新数据仓库。

相关推荐
古法老登瞎折腾15 小时前
Hive 源码导读(三):都是 SELECT,为什么有的查询不需要 YARN?
数据仓库·hive·hadoop
真上帝的左手3 天前
27. 数据产品-数据中台架构规划
数据仓库·架构·数据分析·数据中台
省钱兄--zs3 天前
24小时自助健身房系统软件开发实战:从架构设计到部署全指南
java·数据仓库·spring boot·系统架构·需求分析
clorinda4 天前
Hive 窗口函数详解:让数据在分组中完成排名、累计和跨行计算
数据仓库·hive·hadoop
Sayai5 天前
ClickHouse WITH FILL 实战:监控大屏时间序列补零,附多粒度指标表与物化视图级联设计
大数据·运维·数据仓库·clickhouse·物化视图
躺柒6 天前
读数据架构知识体系指南16数据网格(上)
数据仓库·架构·数据分析·数据湖·数据架构·关系数据库
省钱兄--zs6 天前
北京24小时自助健身房系统软件开发实战:从架构设计到部署指南
java·数据仓库·spring boot·小程序·需求分析
躺柒8 天前
读数据架构知识体系指南14数据编织
大数据·数据仓库·数据分析·数据湖·数据编织
一隅论数智9 天前
给AI Agent一颗“私域大脑“:本体增强的工程化之路
大数据·运维·数据仓库·人工智能·笔记·学习·政务
CarIise13 天前
Spring Boot整合MyBatis与文件上传:从分层架构到文件上传下载实战
数据仓库·hive·hadoop