12(第十一章,数据仓库和商务智能)

目录

概述

目标和原则

基本概念

商务智能

数据仓库

数据仓库建设方法

数据仓库架构组件

加载处理方式

1、历史数据

2、批量变更数据捕获(CDC)

3、准实时和实时数据加载

活动

运营分析应用

方法

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型

雪花模型

数据聚合

数据域

度量指标


概述

本文的标题中,数据仓库(Data Warehouse,DW)是后端,商务智能则是前端。

目标和原则

数据仓库的建设应该遵循如下知道原则

基本概念

商务智能

商务智能这个术语有两层含义,第一层含义是商务智能指一种理解组织诉求和寻求机会的数据分析活动。第二层含义是商务智能指支持这类数据分析活动的技术集合。

数据仓库

数据仓库有两个重要组成部分,一个集成的决策支持数据库和与之相关的用于收集、清理、转换和存储来自各种操作和外部数据源数据的软件程序。

数据仓库建设方法

Inmon 把数据仓库定义为"面向主题的、整合的、随时间变化的、相对稳定的支持管理决策的数据集合",用规范化的关系模型来存储和管理数据。而Kimball则把数据仓库定义为"为查询和分析定制的交易数据的副本"。

虽然 Inmon 和 Kimball 提的数据仓库建设方法不同,但他们遵循的核心理念相似:

  1. 数据仓库存储的数据来自其他系统。
  2. 存储行为包括以提升数据价值的方式整合数据。
  3. 数据仓库便于数据被访问和分析使用。
  4. 组织建设数据仓库,因为他们需要让授权的利益相关方访问到可靠的、集成的数据。
  5. 数据仓库数据建设有很多目的,涵盖工作流支持、运营管理和预测分析。

数据仓库架构组件

源系统,即数据源。

数据集成ETL。

数据存储区域。数据存储区域又包括多个不同用途的存储区域:暂存区、参考数据和主数据一致性维度、中央数据仓库、操作性数据存储(ODS)、数据集市、数据立方体(Cubes)。

加载处理方式

数据仓库涉及两种主要的数据集成处理类型:历史数据加载和持续不断的数据更新。历史数据通常只需要加载一次,或者为了处理数据问题加载有限的几次,然后再也不会加载。

1、历史数据

2、批量变更数据捕获(CDC)

3、准实时和实时数据加载

活动

运营分析应用

三种经典的OLAP实现方法:

  1. 关系型联机分析处理(ROLAP)。ROLAP 通过在关系数据库 (RDBMS) 的二维表中使用多维技术来支持 OLAP。星型架构是 ROLAP 环境中常用的数据库设计技术。
  2. 多维矩阵型联机分析处理(MOLAP)。MOLAP 通过使用专门的多维数据库技术支持 OLAP
  3. 混合型联机分析处理 (HOLAP)。它是 RLAP 和 MOLAP 的结合。HOLAP 实现允许部分数据以MOLAP 形式存储,而另一部分数据存储在 ROLAP 中。控件的实现方式各不相同,设计师对分区的组合也各有不同。

方法

书上写的偏概念,可能重点比较少,这里我举一个简单的例子,以后有事件,单独搞一个相关的规范分享,项目上实际的构建过程。

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型
雪花模型

数据聚合

数据域

度量指标

  • 使用指标
  • 主题域覆盖率
  • 响应事件和性能指标
相关推荐
大大大大晴天9 小时前
从 HDFS 到对象存储:计算存储分离如何重塑云原生大数据底座
大数据
用户36105886261218 小时前
SparkStreaming 之 updateStateByKey 算子详解及代码实现
大数据·spark
咖啡屋和酒吧20 小时前
“隐性肩颈紧张”正在透支精力|没有酸痛,不代表肩颈处于健康状态
大数据·精选
港股研究社20 小时前
专注履约底座,顺丰同城在即时零售效率时代提升增长动能
大数据·人工智能
AI_yangxi1 天前
短视频矩阵系统选哪家
大数据·人工智能·矩阵
lupai1 天前
手机在网状态接口实测效果与质量评估
大数据·python·智能手机·api接口
大模型丫丫1 天前
Hermes Agent:轻量级智能体框架实战指南
大数据·运维·服务器
大大大大晴天1 天前
每天认识一个组件:SQL网关Apache Kyuubi
大数据
2601_962218471 天前
万象生鲜系统冷链物联网接入技术实现生鲜企业温控管理数字化
大数据·运维·微服务·云原生·架构
2601_962074811 天前
大数据-264 实时数仓 - Canal MySQL的binlog研究 存储目录 变动信息 配置MySQL
大数据·数据库·mysql