数据挖掘——认识数据

数据挖掘------认识数据

数据对象和属性

数据对象

数据集由数据对象组成

  • 一个数据对象代表一个实体

  • 例子

    • 销售数据库:客户,商店物品,销售额
    • 医疗数据库:患者,治疗信息
    • 大学数据库:学生,教授,课程信息
  • 称为样品,示例,实例,数据点,对象,元组(tuple)

  • 数据对象所描述的属性

    • 数据库中的行 - >数据对象
    • 数据库中的列 - >"属性"

属性和属性值

属性是对象特征

属性值:定义属性的特定的特征或参数

常见的四类属性

  • 标称(Nominal)
    • Examples: ID numbers, zip codes
  • 序数(Ordinal)
    • Examples: rankings (e.g., taste of potato chips on a scale from 1-10),
      grades, height in {tall, medium, short}
  • 区间(Interval)
    • Examples: calendar dates, temperatures in Celsius or Fahrenheit.
  • 比率(Ratio)
    • Examples: temperature in Kelvin, length, time, counts


标称和序数一般是离散型的
区间和比率一般是连续性的

数据统计与可视化

数据统计汇总

  • 动机
    • 为了更好地理解数据:集中趋势,分布
  • 数据的统计特性
    • 最大值,最小值,中位数,位数,离群值,方差等
  1. 平均值一组数据的均衡点。
  2. 但是,均值对离群值很敏感。
  3. 因此,中位数和截断均值也很常用。
  4. 众数指一组数据中出现次数最多的数据值。

经验公式 : m e a n − m o d e = 3 ∗ ( m e a n − m e d i a n ) mean-mode=3*(mean-median) mean−mode=3∗(mean−median)

离散度度量

  • 方差和标准差
  • 分位数
    • 分位数:Q1(第25百分位),Q3(第75百分位)
    • 分位数极差:IQR= Q3 - Q1
  • 五点概况:min, Q1, median, Q3, max
  • 盒状图(boxplot):min, Q1,median, Q3, max;单独添加胡须表示离群点
  • 离群点:通常情况下,一个值高于/低于1.5×IQR

I Q R = Q 3 − Q 1 m a x = Q 3 + 1.5 ∗ I Q R m i n = Q 1 − 1.5 ∗ I Q R IQR =Q3-Q1\\ max = Q3+1.5*IQR\\ min = Q1- 1.5*IQR IQR=Q3−Q1max=Q3+1.5∗IQRmin=Q1−1.5∗IQR

数据的相似性和相异性度量

  • 相似度Similarity
    • 度量两个数据对象有多相似
    • 值越大就表示数据对象越相似
    • 通常取值范围为[0,1]
  • 相异度Dissimilarity (e.g., distance)
    • 度量两个数据对象的差别程度
    • 值越小就表示数据越相似
    • 最小相异度通常为0
  • 邻近性Proximity
    • 指相似度或者相异度

数值属性的邻近性度量

闵可夫斯基距离:
d ( i , j ) = ∣ x i 1 − x j 1 ∣ h + ∣ x i 2 − x j 2 ∣ h + ⋯ + ∣ x i p − x j p ∣ h h d(i, j)=\sqrt[h]{\left|x_{i 1}-x_{j 1}\right|^{h}+\left|x_{i 2}-x_{j 2}\right|^{h}+\cdots+\left|x_{i p}-x_{j p}\right|^{h}} d(i,j)=h∣xi1−xj1∣h+∣xi2−xj2∣h+⋯+∣xip−xjp∣h

  • 性质
    • d(i, j) > 0 if i ≠ j, and d(i, i) = 0 (正定性)
    • d(i, j) = d(j, i) (对称性)
    • d(i, j) < d(i, k) + d(k, j) (三角不等性)

h=1:曼哈顿距离
d ( i , j ) = ∣ x i 1 − x j 1 ∣ + ∣ x i 2 − x j 2 ∣ + ... + ∣ x i p − x j p ∣ d(i, j)=\left|x_{i_{1}}-x_{j_{1}}\right|+\left|x_{i_{2}}-x_{j_{2}}\right|+\ldots+\left|x_{i_{p}}-x_{j_{p}}\right| d(i,j)=∣xi1−xj1∣+∣xi2−xj2∣+...+ xip−xjp

h=2:欧氏距离
d ( i , j ) = ( ∣ x i 1 − x j 1 ∣ 2 + ∣ x i 2 − x j 2 ∣ 2 + ... + ∣ x i p − x j p ∣ 2 ) d(i, j)=\sqrt{\left(\left|x_{i_{1}}-x_{j_{1}}\right|^{2}+\left|x_{i_{2}}-x_{j_{2}}\right|^{2}+\ldots+\left|x_{i_{p}}-x_{j_{p}}\right|^{2}\right)} d(i,j)=(∣xi1−xj1∣2+∣xi2−xj2∣2+...+ xip−xjp 2)

h → ∞ \rightarrow \infty →∞,"上确界距离"
d ( i , j ) = lim ⁡ h → ∞ ( ∑ f = 1 p ∣ x i f − x j f ∣ h ) 1 h = max ⁡ f p ∣ x i f − x j f ∣ d(i, j)=\lim {h \rightarrow \infty}\left(\sum{f=1}^{p}\left|x_{i f}-x_{j f}\right|^{h}\right)^{\frac{1}{h}}=\max {f}^{p}\left|x{i f}-x_{j f}\right| d(i,j)=h→∞lim f=1∑p∣xif−xjf∣h h1=fmaxp∣xif−xjf∣

  • 余弦相似性
    • 一个文档可以用词频向量来表示(注意:词的对齐)
    • 余弦度量
      • cos(d1, d2) = (d1 • d2) /||d1|| ||d2||
相关推荐
一 铭25 分钟前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
麻雀无能为力4 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心4 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
IMPYLH4 小时前
Python 的内置函数 reversed
笔记·python
.30-06Springfield5 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域6 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技6 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_16 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
码荼7 小时前
学习开发之hashmap
java·python·学习·哈希算法·个人开发·小白学开发·不花钱不花时间crud
书玮嘎7 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习