数据仓库概述

数据仓库是一个面向主题、集成、相对稳定、反映历史变化的数据集合,用于支持管理决策。它是过程而非项目,是环境而非产品,提供决策所需的当前和历史数据。

特点

面向主题:按主题域组织数据,不同于面向事务处理的操作型数据库。集成:对分散数据库数据抽取、清理、加工、汇总,消除不一致性,保证全局一致。相对稳定:以查询为主,数据长期保留,修改删除很少,定期加载刷新。反映历史变化:包含历史信息,可定量分析和预测趋势。

组成

数据仓库数据库:核心,存放数据并支持海量数据快速检索。数据抽取工具:从各种存储方式取出数据,转化整理后存入仓库,包括删除无意义数据、统一名称定义、计算衍生数据、处理缺值等。元数据:描述数据结构与建立方法,分技术元数据和商业元数据,为访问提供信息目录。访问工具:查询报表、应用开发、经理信息系统、联机分析处理、数据挖掘等工具。数据集市:为特定应用从仓库独立出的部分数据,也称部门数据或主题数据。

管理

包括安全与特权管理、跟踪数据更新、数据质量检查、元数据管理、审计与状态报告、数据删除、复制分割分发、备份恢复、存储管理。信息发布系统把数据发送给不同地点或用户,基于Web的发布系统是应对多用户访问的有效方法。

建立步骤

收集分析业务需求;建立数据模型和物理设计;定义数据源;选择技术和平台;从操作型数据库抽取、净化、转换数据;选择访问报表工具;选择数据库连接软件;选择分析展示软件;更新数据仓库。

相关推荐
DataY轻量数据平台4 天前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
宽海智能仓储物流5 天前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
上海潭龙东海科技有限公司9 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
Francek Chen17 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
全栈陈序员20 天前
【Git】从入门到精通(二)—— Git安装与初次配置
数据仓库·git
程序员梅雨20 天前
【从零开始学习数据仓库 | 第三篇】: Flume——数据采集基石
java·大数据·数据仓库·后端·学习·flume
注塑机数据采集联网22 天前
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
roman_日积跬步-终至千里22 天前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
程序员梅雨23 天前
【从零开始学习数据仓库 | 第二篇】: 拉链表 & 数仓分层
大数据·数据仓库·学习
roman_日积跬步-终至千里23 天前
数仓开发的三层责任:业务定义、模型设计与 SQL 实现
数据库·数据仓库·sql·数据建模