数据挖掘——认识数据

数据挖掘------认识数据

数据对象和属性

数据对象

数据集由数据对象组成

  • 一个数据对象代表一个实体

  • 例子

    • 销售数据库:客户,商店物品,销售额
    • 医疗数据库:患者,治疗信息
    • 大学数据库:学生,教授,课程信息
  • 称为样品,示例,实例,数据点,对象,元组(tuple)

  • 数据对象所描述的属性

    • 数据库中的行 - >数据对象
    • 数据库中的列 - >"属性"

属性和属性值

属性是对象特征

属性值:定义属性的特定的特征或参数

常见的四类属性

  • 标称(Nominal)
    • Examples: ID numbers, zip codes
  • 序数(Ordinal)
    • Examples: rankings (e.g., taste of potato chips on a scale from 1-10),
      grades, height in {tall, medium, short}
  • 区间(Interval)
    • Examples: calendar dates, temperatures in Celsius or Fahrenheit.
  • 比率(Ratio)
    • Examples: temperature in Kelvin, length, time, counts


标称和序数一般是离散型的
区间和比率一般是连续性的

数据统计与可视化

数据统计汇总

  • 动机
    • 为了更好地理解数据:集中趋势,分布
  • 数据的统计特性
    • 最大值,最小值,中位数,位数,离群值,方差等
  1. 平均值一组数据的均衡点。
  2. 但是,均值对离群值很敏感。
  3. 因此,中位数和截断均值也很常用。
  4. 众数指一组数据中出现次数最多的数据值。

经验公式 : m e a n − m o d e = 3 ∗ ( m e a n − m e d i a n ) mean-mode=3*(mean-median) mean−mode=3∗(mean−median)

离散度度量

  • 方差和标准差
  • 分位数
    • 分位数:Q1(第25百分位),Q3(第75百分位)
    • 分位数极差:IQR= Q3 - Q1
  • 五点概况:min, Q1, median, Q3, max
  • 盒状图(boxplot):min, Q1,median, Q3, max;单独添加胡须表示离群点
  • 离群点:通常情况下,一个值高于/低于1.5×IQR

I Q R = Q 3 − Q 1 m a x = Q 3 + 1.5 ∗ I Q R m i n = Q 1 − 1.5 ∗ I Q R IQR =Q3-Q1\\ max = Q3+1.5*IQR\\ min = Q1- 1.5*IQR IQR=Q3−Q1max=Q3+1.5∗IQRmin=Q1−1.5∗IQR

数据的相似性和相异性度量

  • 相似度Similarity
    • 度量两个数据对象有多相似
    • 值越大就表示数据对象越相似
    • 通常取值范围为[0,1]
  • 相异度Dissimilarity (e.g., distance)
    • 度量两个数据对象的差别程度
    • 值越小就表示数据越相似
    • 最小相异度通常为0
  • 邻近性Proximity
    • 指相似度或者相异度

数值属性的邻近性度量

闵可夫斯基距离:
d ( i , j ) = ∣ x i 1 − x j 1 ∣ h + ∣ x i 2 − x j 2 ∣ h + ⋯ + ∣ x i p − x j p ∣ h h d(i, j)=\sqrt[h]{\left|x_{i 1}-x_{j 1}\right|^{h}+\left|x_{i 2}-x_{j 2}\right|^{h}+\cdots+\left|x_{i p}-x_{j p}\right|^{h}} d(i,j)=h∣xi1−xj1∣h+∣xi2−xj2∣h+⋯+∣xip−xjp∣h

  • 性质
    • d(i, j) > 0 if i ≠ j, and d(i, i) = 0 (正定性)
    • d(i, j) = d(j, i) (对称性)
    • d(i, j) < d(i, k) + d(k, j) (三角不等性)

h=1:曼哈顿距离
d ( i , j ) = ∣ x i 1 − x j 1 ∣ + ∣ x i 2 − x j 2 ∣ + ... + ∣ x i p − x j p ∣ d(i, j)=\left|x_{i_{1}}-x_{j_{1}}\right|+\left|x_{i_{2}}-x_{j_{2}}\right|+\ldots+\left|x_{i_{p}}-x_{j_{p}}\right| d(i,j)=∣xi1−xj1∣+∣xi2−xj2∣+...+ xip−xjp

h=2:欧氏距离
d ( i , j ) = ( ∣ x i 1 − x j 1 ∣ 2 + ∣ x i 2 − x j 2 ∣ 2 + ... + ∣ x i p − x j p ∣ 2 ) d(i, j)=\sqrt{\left(\left|x_{i_{1}}-x_{j_{1}}\right|^{2}+\left|x_{i_{2}}-x_{j_{2}}\right|^{2}+\ldots+\left|x_{i_{p}}-x_{j_{p}}\right|^{2}\right)} d(i,j)=(∣xi1−xj1∣2+∣xi2−xj2∣2+...+ xip−xjp 2)

h → ∞ \rightarrow \infty →∞,"上确界距离"
d ( i , j ) = lim ⁡ h → ∞ ( ∑ f = 1 p ∣ x i f − x j f ∣ h ) 1 h = max ⁡ f p ∣ x i f − x j f ∣ d(i, j)=\lim {h \rightarrow \infty}\left(\sum{f=1}^{p}\left|x_{i f}-x_{j f}\right|^{h}\right)^{\frac{1}{h}}=\max {f}^{p}\left|x{i f}-x_{j f}\right| d(i,j)=h→∞lim f=1∑p∣xif−xjf∣h h1=fmaxp∣xif−xjf∣

  • 余弦相似性
    • 一个文档可以用词频向量来表示(注意:词的对齐)
    • 余弦度量
      • cos(d1, d2) = (d1 • d2) /||d1|| ||d2||
相关推荐
看到我,请让我去学习11 分钟前
OpenCV开发-初始概念
人工智能·opencv·计算机视觉
汀沿河11 分钟前
8.1 prefix Tunning与Prompt Tunning模型微调方法
linux·运维·服务器·人工智能
陈敬雷-充电了么-CEO兼CTO20 分钟前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
学术 学术 Fun27 分钟前
✨ OpenAudio S1:影视级文本转语音与语音克隆Mac整合包
人工智能·语音识别
用户Taobaoapi20141 小时前
母婴用品社媒种草效果量化:淘宝详情API+私域转化追踪案例
大数据·数据挖掘·数据分析
kikikidult1 小时前
(2025.07)解决——ubuntu20.04系统开机黑屏,左上角光标闪烁
笔记·ubuntu
用户Taobaoapi20141 小时前
Taobao agent USA丨美国淘宝代购1688代采集运系统搭建指南
数据挖掘·php
风铃喵游1 小时前
让大模型调用MCP服务变得超级简单
前端·人工智能
future14121 小时前
C#每日学习日记
java·学习·c#
booooooty1 小时前
基于Spring AI Alibaba的多智能体RAG应用
java·人工智能·spring·多智能体·rag·spring ai·ai alibaba