12(第十一章,数据仓库和商务智能)

目录

概述

目标和原则

基本概念

商务智能

数据仓库

数据仓库建设方法

数据仓库架构组件

加载处理方式

1、历史数据

2、批量变更数据捕获(CDC)

3、准实时和实时数据加载

活动

运营分析应用

方法

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型

雪花模型

数据聚合

数据域

度量指标


概述

本文的标题中,数据仓库(Data Warehouse,DW)是后端,商务智能则是前端。

目标和原则

数据仓库的建设应该遵循如下知道原则

基本概念

商务智能

商务智能这个术语有两层含义,第一层含义是商务智能指一种理解组织诉求和寻求机会的数据分析活动。第二层含义是商务智能指支持这类数据分析活动的技术集合。

数据仓库

数据仓库有两个重要组成部分,一个集成的决策支持数据库和与之相关的用于收集、清理、转换和存储来自各种操作和外部数据源数据的软件程序。

数据仓库建设方法

Inmon 把数据仓库定义为"面向主题的、整合的、随时间变化的、相对稳定的支持管理决策的数据集合",用规范化的关系模型来存储和管理数据。而Kimball则把数据仓库定义为"为查询和分析定制的交易数据的副本"。

虽然 Inmon 和 Kimball 提的数据仓库建设方法不同,但他们遵循的核心理念相似:

  1. 数据仓库存储的数据来自其他系统。
  2. 存储行为包括以提升数据价值的方式整合数据。
  3. 数据仓库便于数据被访问和分析使用。
  4. 组织建设数据仓库,因为他们需要让授权的利益相关方访问到可靠的、集成的数据。
  5. 数据仓库数据建设有很多目的,涵盖工作流支持、运营管理和预测分析。

数据仓库架构组件

源系统,即数据源。

数据集成ETL。

数据存储区域。数据存储区域又包括多个不同用途的存储区域:暂存区、参考数据和主数据一致性维度、中央数据仓库、操作性数据存储(ODS)、数据集市、数据立方体(Cubes)。

加载处理方式

数据仓库涉及两种主要的数据集成处理类型:历史数据加载和持续不断的数据更新。历史数据通常只需要加载一次,或者为了处理数据问题加载有限的几次,然后再也不会加载。

1、历史数据

2、批量变更数据捕获(CDC)

3、准实时和实时数据加载

活动

运营分析应用

三种经典的OLAP实现方法:

  1. 关系型联机分析处理(ROLAP)。ROLAP 通过在关系数据库 (RDBMS) 的二维表中使用多维技术来支持 OLAP。星型架构是 ROLAP 环境中常用的数据库设计技术。
  2. 多维矩阵型联机分析处理(MOLAP)。MOLAP 通过使用专门的多维数据库技术支持 OLAP
  3. 混合型联机分析处理 (HOLAP)。它是 RLAP 和 MOLAP 的结合。HOLAP 实现允许部分数据以MOLAP 形式存储,而另一部分数据存储在 ROLAP 中。控件的实现方式各不相同,设计师对分区的组合也各有不同。

方法

书上写的偏概念,可能重点比较少,这里我举一个简单的例子,以后有事件,单独搞一个相关的规范分享,项目上实际的构建过程。

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型
雪花模型

数据聚合

数据域

度量指标

  • 使用指标
  • 主题域覆盖率
  • 响应事件和性能指标
相关推荐
写代码的【黑咖啡】几秒前
大数据中的数据同步预处理:保障数据质量的第一道防线
大数据
Hello.Reader6 分钟前
Flink SQL Time Travel用 FOR SYSTEM_TIME AS OF 查询历史快照
大数据·sql·flink
2501_9247949012 分钟前
企业AI转型为何难?——从“不敢用”到“用得稳”的路径重构
大数据·人工智能·重构
Tezign_space23 分钟前
小红书内容运营工具怎么选?专业视角拆解优质工具核心标准
大数据·人工智能·内容运营
康实训26 分钟前
养老实训室建设标准指南
大数据·人工智能·实训室·养老实训室·实训室建设
梦里不知身是客112 小时前
hive中metastore 服务的意义
数据仓库·hive·hadoop
semantist@语校2 小时前
第五十五篇|从解释约束到结构化认知:京都国际学院的语言学校Prompt工程化实践
大数据·数据库·人工智能·python·百度·prompt·知识图谱
计算机毕业编程指导师2 小时前
【Python大数据选题】基于Spark+Django的电影评分人气数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·django·电影评分人气
TDengine (老段)2 小时前
使用 deepseek 快速搭建 TDengine IDMP demo
大数据·数据库·科技·ai·时序数据库·tdengine·涛思数据
Jackyzhe3 小时前
Flink源码阅读:如何生成StreamGraph
大数据·flink