数据挖掘——认识数据

数据挖掘------认识数据

数据对象和属性
- 数据对象
- 属性和属性值
数据统计与可视化
- 数据统计汇总
- 离散度度量
数据的相似性和相异性度量
- 数值属性的邻近性度量

数据对象和属性

数据对象

数据集由数据对象组成

一个数据对象代表一个实体
例子
- 销售数据库：客户，商店物品，销售额
- 医疗数据库：患者，治疗信息
- 大学数据库：学生，教授，课程信息
称为样品，示例，实例，数据点，对象，元组（tuple）
数据对象所描述的属性
- 数据库中的行 - >数据对象
- 数据库中的列 - >"属性"

属性和属性值

属性是对象特征

属性值：定义属性的特定的特征或参数

常见的四类属性：

标称（Nominal）
- Examples: ID numbers, zip codes
序数（Ordinal）
- Examples: rankings (e.g., taste of potato chips on a scale from 1-10),
  grades, height in {tall, medium, short}
区间（Interval）
- Examples: calendar dates, temperatures in Celsius or Fahrenheit.
比率（Ratio）
- Examples: temperature in Kelvin, length, time, counts

标称和序数一般是离散型的
区间和比率一般是连续性的

数据统计与可视化

数据统计汇总

动机
- 为了更好地理解数据：集中趋势，分布
数据的统计特性
- 最大值，最小值，中位数，位数，离群值，方差等

平均值一组数据的均衡点。
但是，均值对离群值很敏感。
因此，中位数和截断均值也很常用。
众数指一组数据中出现次数最多的数据值。

经验公式 ： m e a n − m o d e = 3 ∗ ( m e a n − m e d i a n ) mean-mode=3*(mean-median) mean−mode=3∗(mean−median)

离散度度量

方差和标准差
分位数
- 分位数：Q1（第25百分位），Q3（第75百分位）
- 分位数极差：IQR= Q3 - Q1
五点概况：min, Q1, median, Q3, max
盒状图（boxplot）：min, Q1,median, Q3, max；单独添加胡须表示离群点
离群点：通常情况下，一个值高于/低于1.5×IQR

I Q R = Q 3 − Q 1 m a x = Q 3 + 1.5 ∗ I Q R m i n = Q 1 − 1.5 ∗ I Q R IQR =Q3-Q1\\ max = Q3+1.5*IQR\\ min = Q1- 1.5*IQR IQR=Q3−Q1max=Q3+1.5∗IQRmin=Q1−1.5∗IQR

数据的相似性和相异性度量

相似度Similarity
- 度量两个数据对象有多相似
- 值越大就表示数据对象越相似
- 通常取值范围为 $0,1$
相异度Dissimilarity (e.g., distance)
- 度量两个数据对象的差别程度
- 值越小就表示数据越相似
- 最小相异度通常为0
邻近性Proximity
- 指相似度或者相异度

数值属性的邻近性度量

闵可夫斯基距离:
d ( i , j ) = ∣ x i 1 − x j 1 ∣ h + ∣ x i 2 − x j 2 ∣ h + ⋯ + ∣ x i p − x j p ∣ h h d(i, j)=\sqrt $h$ {\left|x_{i 1}-x_{j 1}\right|^{h}+\left|x_{i 2}-x_{j 2}\right|^{h}+\cdots+\left|x_{i p}-x_{j p}\right|^{h}} d(i,j)=h∣xi1−xj1∣h+∣xi2−xj2∣h+⋯+∣xip−xjp∣h

性质
- d(i, j) > 0 if i ≠ j, and d(i, i) = 0 (正定性)
- d(i, j) = d(j, i) (对称性)
- d(i, j) < d(i, k) + d(k, j) (三角不等性)

h=1：曼哈顿距离
d ( i , j ) = ∣ x i 1 − x j 1 ∣ + ∣ x i 2 − x j 2 ∣ + ... + ∣ x i p − x j p ∣ d(i, j)=\left|x_{i_{1}}-x_{j_{1}}\right|+\left|x_{i_{2}}-x_{j_{2}}\right|+\ldots+\left|x_{i_{p}}-x_{j_{p}}\right| d(i,j)=∣xi1−xj1∣+∣xi2−xj2∣+...+ xip−xjp

h=2：欧氏距离
d ( i , j ) = ( ∣ x i 1 − x j 1 ∣ 2 + ∣ x i 2 − x j 2 ∣ 2 + ... + ∣ x i p − x j p ∣ 2 ) d(i, j)=\sqrt{\left(\left|x_{i_{1}}-x_{j_{1}}\right|^{2}+\left|x_{i_{2}}-x_{j_{2}}\right|^{2}+\ldots+\left|x_{i_{p}}-x_{j_{p}}\right|^{2}\right)} d(i,j)=(∣xi1−xj1∣2+∣xi2−xj2∣2+...+ xip−xjp 2)

h → ∞ \rightarrow \infty →∞，"上确界距离"
d ( i , j ) = lim ⁡ h → ∞ ( ∑ f = 1 p ∣ x i f − x j f ∣ h ) 1 h = max ⁡ f p ∣ x i f − x j f ∣ d(i, j)=\lim {h \rightarrow \infty}\left(\sum{f=1}^{p}\left|x_{i f}-x_{j f}\right|^{h}\right)^{\frac{1}{h}}=\max {f}^{p}\left|x{i f}-x_{j f}\right| d(i,j)=h→∞lim f=1∑p∣xif−xjf∣h h1=fmaxp∣xif−xjf∣

余弦相似性
- 一个文档可以用词频向量来表示（注意：词的对齐）
- 余弦度量
  - cos(d1, d2) = (d1 • d2) /||d1|| ||d2||