12(第十一章,数据仓库和商务智能)

目录

概述

目标和原则

基本概念

商务智能

数据仓库

数据仓库建设方法

数据仓库架构组件

加载处理方式

1、历史数据

2、批量变更数据捕获(CDC)

3、准实时和实时数据加载

活动

运营分析应用

方法

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型

雪花模型

数据聚合

数据域

度量指标


概述

本文的标题中,数据仓库(Data Warehouse,DW)是后端,商务智能则是前端。

目标和原则

数据仓库的建设应该遵循如下知道原则

基本概念

商务智能

商务智能这个术语有两层含义,第一层含义是商务智能指一种理解组织诉求和寻求机会的数据分析活动。第二层含义是商务智能指支持这类数据分析活动的技术集合。

数据仓库

数据仓库有两个重要组成部分,一个集成的决策支持数据库和与之相关的用于收集、清理、转换和存储来自各种操作和外部数据源数据的软件程序。

数据仓库建设方法

Inmon 把数据仓库定义为"面向主题的、整合的、随时间变化的、相对稳定的支持管理决策的数据集合",用规范化的关系模型来存储和管理数据。而Kimball则把数据仓库定义为"为查询和分析定制的交易数据的副本"。

虽然 Inmon 和 Kimball 提的数据仓库建设方法不同,但他们遵循的核心理念相似:

  1. 数据仓库存储的数据来自其他系统。
  2. 存储行为包括以提升数据价值的方式整合数据。
  3. 数据仓库便于数据被访问和分析使用。
  4. 组织建设数据仓库,因为他们需要让授权的利益相关方访问到可靠的、集成的数据。
  5. 数据仓库数据建设有很多目的,涵盖工作流支持、运营管理和预测分析。

数据仓库架构组件

源系统,即数据源。

数据集成ETL。

数据存储区域。数据存储区域又包括多个不同用途的存储区域:暂存区、参考数据和主数据一致性维度、中央数据仓库、操作性数据存储(ODS)、数据集市、数据立方体(Cubes)。

加载处理方式

数据仓库涉及两种主要的数据集成处理类型:历史数据加载和持续不断的数据更新。历史数据通常只需要加载一次,或者为了处理数据问题加载有限的几次,然后再也不会加载。

1、历史数据

2、批量变更数据捕获(CDC)

3、准实时和实时数据加载

活动

运营分析应用

三种经典的OLAP实现方法:

  1. 关系型联机分析处理(ROLAP)。ROLAP 通过在关系数据库 (RDBMS) 的二维表中使用多维技术来支持 OLAP。星型架构是 ROLAP 环境中常用的数据库设计技术。
  2. 多维矩阵型联机分析处理(MOLAP)。MOLAP 通过使用专门的多维数据库技术支持 OLAP
  3. 混合型联机分析处理 (HOLAP)。它是 RLAP 和 MOLAP 的结合。HOLAP 实现允许部分数据以MOLAP 形式存储,而另一部分数据存储在 ROLAP 中。控件的实现方式各不相同,设计师对分区的组合也各有不同。

方法

书上写的偏概念,可能重点比较少,这里我举一个简单的例子,以后有事件,单独搞一个相关的规范分享,项目上实际的构建过程。

数据仓库构建

架构演进

数据处理过程

数据清洗

转换集成

ETL结果

数据仓库

星型模型
雪花模型

数据聚合

数据域

度量指标

  • 使用指标
  • 主题域覆盖率
  • 响应事件和性能指标
相关推荐
档案宝档案管理10 小时前
档案宝自动化档案管理,从采集、整理到归档、利用,一步到位
大数据·数据库·人工智能·档案·档案管理
郑州光合科技余经理10 小时前
技术架构:上门服务APP海外版源码部署
java·大数据·开发语言·前端·架构·uni-app·php
云器科技10 小时前
告别Spark?大数据架构的十字路口与技术抉择
大数据·架构·spark·lakehouse·数据湖仓
zhongerzixunshi12 小时前
把握申报机遇 赋能高质量发展
大数据·人工智能
AI数据皮皮侠13 小时前
中国乡村旅游重点村镇数据
大数据·人工智能·python·深度学习·机器学习
小北方城市网13 小时前
第 11 课:Python 全栈项目进阶与职业发展指南|从项目到职场的无缝衔接(课程终章・进阶篇)
大数据·开发语言·人工智能·python·数据库架构·geo
躺柒14 小时前
读共生:4.0时代的人机关系06人机合作关系
大数据·人工智能·人机协作·人机对话·人机合作
天远数科14 小时前
前端体验优化:用Node.js中间件无缝集成天远手机号码归属地核验服务
大数据·api
Hello.Reader15 小时前
Flink Table/SQL 自定义 Connector从 DDL 元数据到运行时 Source/Sink(含 Socket 全栈例子拆解)
大数据·sql·flink
电商API_1800790524716 小时前
淘宝商品评论数据抓取指南|API调用演示
大数据·数据库·人工智能·数据分析·网络爬虫