数据挖掘--数据仓库与联机分析处理

数据挖掘--引论

数据挖掘--认识数据

数据挖掘--数据预处理

数据挖掘--数据仓库与联机分析处理

数据挖掘--挖掘频繁模式、关联和相关性:基本概念和方法

数据挖掘--分类

数据挖掘--聚类分析:基本概念和方法


什么是数据仓库

(面集时非)

  • 面向主题的:围绕某一主题来构建
  • 集成的:图片文字杂糅在一起
  • 时变的:随时间变化的数据
  • 非易失的:硬盘存放,不易丢失

操作数据库系统(OLTP)与数据仓库(OLAP)区别

(用户、设计、访问、视图、内容)

  • 用户和系统的面向性:OLTP是面向顾客,OLAP是面向市场进行数据分析
  • 数据内容:OLTP提供当前数据,OLAP提供历史数据
  • 数据库设计:OLTP采用实体-联系(ER),OLAP采用星形或雪花
  • 视图:OLTP一个具体部门,OLAP全部统计
  • 访问模式:OLTP某条,OLAP全部

为什么需要分离的数据仓库

  • 有助于提高两个系统的性能
  • 两种系统中数据的结构、内容和用法都不相同

星形、雪花形和事实星座

星形(一对多)、雪花(有二级)、事实星座(交叉)

1.星型模式的核心是一个大的中心表(事实表),一组小的附属表(维表)。星型模式示例如下所示:

2.雪花模式是星型模式的扩展,其中某些维表被规范化,进一步分解到附加表(维表)中。雪花模式示例如下图所示:

从图中我们可以看到地址表被进一步细分出了城市(city)维。supplier_type表被进一步细分出来supplier维。

3.事实星座模式(Fact Constellation)或星系模式(galaxy schema)

数据仓库由多个主题构成,包含多个事实表,而维表是公共的,可以共享,这种模式可以看做星型模式的汇集,因而称作星系模式或者事实星座模式。本模式示例如下图所示。

度量的分类和计算

  • 分布的:划分与不划分的数据集的结果一样
  • 代数的:由几次的分布式函数通过加减乘除的计算得到
  • 整体的:对整个数据集进行操作的(如rank)

索引OLAP数据

位图索引

有n的属性改成n列,有这个属性就是1,没有就是0

连接索引

通过一列相同的字段连接

相关推荐
m0_587383005 小时前
西安同城拼车软件开发实战指南:从零搭建高效系统
人工智能·小程序·数据挖掘·系统架构·需求分析
一只专注api接口开发的技术猿6 小时前
告别手工复制粘贴:搭建电商商品自动化监控与数据分析实践
大数据·运维·数据挖掘·数据分析·自动化
szarron7 小时前
VNA6 便携式矢量网络分析仪|1MHz‑6.3GHz 手持 VNA 真实应用场景全解析
前端·嵌入式硬件·信息可视化·数据挖掘·数据分析
梦帮科技7 小时前
万亿 Token 工业级语料洗炼:MinHash LSH 兆级去重、语义纯化与元提示词泄漏绝对阻断
人工智能·深度学习·神经网络·生成对抗网络·自然语言处理·数据挖掘
IT毕设梦工厂8 小时前
计算机毕业设计选题推荐:基于大数据的城市噪音数据分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·信息可视化·数据分析·spark·毕业设计·课程设计·数据可视化
瑞兴生物RXBio9 小时前
转录组数据分析踩坑:RNA 结果与预期不符、RNA 和蛋白表达不一致,6 大方向排查方案
数据挖掘·数据分析·生信分析·转录组
FYKJ_201010 小时前
springboot刑事案件管理系统03047-计算机课程设计、毕业设计
vue.js·spring boot·python·mysql·typescript·spark·django
BYSJMG11 小时前
计算机毕业设计选题推荐:基于大数据的快递物流运营数据分析与可视化,Spark与K-Means
大数据·算法·数据分析·spark·课程设计
FYKJ_201012 小时前
springboot助农产品销售商城05829-计算机课程设计、毕业设计
java·spring boot·python·mysql·spark·django
IT毕设梦工厂13 小时前
计算机毕业设计选题推荐:基于大数据的供应链数据分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hive·hadoop·python·数据分析·spark·课程设计