什么是数据仓库?

数据仓库:DATA WAREHOUSE,简称数仓、DW。是一个用于存储、分析、报告的数据系统。目的是构建面向分析的集成化数据环境,为企业提供决策支持。

数仓本身不"产生"任何数据,其数据来源于不同的外部系统;同时数仓本身也不"消费"任何数据,其结果开放给各个外部应用使用,这也是为什么叫"仓库",而不叫"工厂"的原因。

数仓的四大特征:

**面向主题的:**较高层次的企业信息系统中数据的综合、归类并进行分析利用,对应企业中某一宏观分析领域的所涉及的分析对象

**集成的:**在确定主题之后,就需要获取和主题相关的数据,在企业中某一个主题相关的数据通常会分布在不同的操作系统中,彼此分散、独立、异构。因此,在数据进入数据仓库之前,必须要经过统一和综合,对数据进行抽取、清洗、转换和综合,这一步是数仓建设过程中最为复杂且重要的一步,要统一数据源中所有的矛盾之处,例如字段同名异义,异名同义,单位不一致,长度不一致等问题。

**包含历史的:**数据仓库中包含各种粒度的历史数据,数据可能与某个特定的日期、星期、月份、季度或者年份有关。数据仓库中的数据时限要远远长于操作性数据库的数据时限,操作性数据库存储的是当前数据,而数仓存储的是历史数据,数仓中的数据是按照时间顺序追加的,它们都带有时间属性。

**相对稳定的:**数仓是分析数据的平台而不是创造数据的平台。我们是通过数仓去分析数据中的规律,而不是创造或者改变其中的规律,因此数据进入数仓后,便稳定且不会改变。操作型数据库主要服务于日常的业务操作,使得数据库需要不断地对数据进行更新以便获取最新的业务数据,不至于影响正常的业务运作。数仓是保存过去的业务数据,不需要对每一笔业务实时更新,而是根据商业需求每隔一段时间把一批较新的数据导入数据仓库。数据仓库反映的是一段相当长的时间内的历史数据,是不同时间点数据库快照的集合,以及基于这些快照进行统计、综合以及重组的导出数据,数仓用户对数据的操作大多是数据查询或者比较复杂的挖掘,一旦数据进入数仓后,一般情况下会被长时间保留,数仓中一般有大量的查询操作,修改和删除的操作很少。

相关推荐
大数据CLUB2 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ratbag6720132 小时前
当环保遇上大数据:生态环境大数据技术专业的课程侧重哪些领域?
大数据
计算机编程小央姐4 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
智数研析社5 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
潘达斯奈基~5 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
寻星探路5 小时前
数据库造神计划第六天---增删改查(CRUD)(2)
java·大数据·数据库
翰林小院7 小时前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
孟意昶8 小时前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data
IT学长编程9 小时前
计算机毕业设计 基于Hadoop的健康饮食推荐系统的设计与实现 Java 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
java·大数据·hadoop·毕业设计·课程设计·推荐算法·毕业论文
AAA修煤气灶刘哥9 小时前
Kafka 入门不踩坑!从概念到搭环境,后端 er 看完就能用
大数据·后端·kafka