【机器学习】2. 数据预处理

数据预处理

[1. 两种变量属性](#1. 两种变量属性)
[2. 数据集的类别](#2. 数据集的类别)
[3. 数据清洗](#3. 数据清洗)
[4. 减少噪声的方法](#4. 减少噪声的方法)
[5. 解决数据缺失的方法](#5. 解决数据缺失的方法)
[6. 数据预处理](#6. 数据预处理)
- [6.1 数据聚合](#6.1 数据聚合)
- [6.2 数据提取](#6.2 数据提取)
- [6.3 数据子集选择](#6.3 数据子集选择)
- - [6.3.1 选择方法](#6.3.1 选择方法)
- [6.4 权重加权](#6.4 权重加权)
- [6.5 数据类型转换](#6.5 数据类型转换)
- - [6.5.1 二值化](#6.5.1 二值化)
- [6.6 离散化](#6.6 离散化)
- - [6.6.1 无监督离散化](#6.6.1 无监督离散化)
- [6.7 规范化和标准化(normalization and standardization)](#6.7 规范化和标准化(normalization and standardization))
- - [6.7.1 normalization](#6.7.1 normalization)
  - [6.7.2 standardization](#6.7.2 standardization)

1. 两种变量属性

类型 (nominal) : 主要是姓名，ID之类的（categorical）
数值 (numeric)：连续的数值，比如房价，身高（continuous）

2. 数据集的类别

矩阵
序列数据，比如时间序列数据
图表, 比如分子结构(molecular structure)
空间数据（spatio - temporal）
事务型数据 (transaction data)

3. 数据清洗

原因：

数据不是完美的
有缺失的数据
噪音数据（虚假数据，不一致的数据，重复数据，干扰数据）

4. 减少噪声的方法

使用信号，图像处理和异常值检测技术
更换机器学习算法，选择对噪声鲁棒性更好的模型（即能够接受存在更多噪声的模型）

5. 解决数据缺失的方法

直接删除所有缺失数据

后果是会导致丢失很多数据来创建一个有效的模型

通过剩余的数据来估计缺失数据的值
- 类别数据（nominal）
  - 通过该变量的众数替代
  - 通过观察结果值（结果值无缺失的情况）。假如这组缺失数据的结果值是T，在所有结果为T的数据中找到最多的变量值，作为缺失值的替代。
- 数值数据（continuous）
  - 距离最近的几个数据的平均值进行替代。

6. 数据预处理

6.1 数据聚合

将两个或者多个变量进行合并。

目的：

减少内存和计算的开销，节约成本
改变规模，小规模可以变成大规模，比如班级变成学校
数据更加稳定，波动减少。比如购物，买猪肉，牛肉，变成肉。

缺点：

有可能丢失有用的一些细节

6.2 数据提取

数据提取是重要的任务，在原始数据中创建特征

要求专业知识，比如创建哪些特征能够有效判断是狗还是猫
数据可能需要转换到另一个空间，比如傅里叶变换（图像处理章节有介绍。）（fourier transform.）。在另一个空间中可能会显示其他有效特征。

6.3 数据子集选择

剔除无效，不相关的数据，选择有效充分的数据
对好的分类结果很重要
好的特征选择，能够提高准确率
使用更少的特征也意味着
- 更快建立分类器
- 能够更加精简，简单介绍分类规则

6.3.1 选择方法

暴力遍历（Brute force）: 尝试所有提取方式，用最好的结果
嵌入（Embedded）: 一些机器学习算法能够自动提取特征，比如决策树
筛选（Filter）：通过相关性，或者统计测量（如信息增益等）进行筛选
包装器（Wrapper）：通过机器学习方法来选择最好的特征（将某个机器学习算法作为黑盒子来评估不同的特征并且选择最好的。）

6.4 权重加权

能够替代数据剔除的方式
重要数据有更高的权重，可以手动加权或者自动加权（boosting）

6.5 数据类型转换

将类别数据（nominal）转换成数值（numeric）
转换成二值化数据（如0-1）
因为一些模型，只能接受类型数据，数值数据或者二进制数据。

6.5.1 二值化

类别 -> 整数 -> 二值化
数值 -> 类别 -> 整数 -> 二值化
二值化的类别：
(0,1,1) 可以两个1代表1类
或者one - hot (0,0,1)

6.6 离散化

数值型(numeric) -> 类别型 (nominal)

6.6.1 无监督离散化

equal width: 从左往右等距离分类
equal frequency: 从左往右等数量分类
clustering: 聚合：K-means

6.7 规范化和标准化(normalization and standardization)

将变量转换到新的范围中，比如（0，1）
避免大数值对小数值的影响
需要计算距离的机器学习算法常用，其他类型的机器学习算法也常常能够获得更好的评估效果。

6.7.1 normalization

x : 变量

x : 原始数据

x': 新数据
x ′ = x − m i n ( x ) m a x ( x ) − m i n ( x ) x' = \frac{x - min(x)}{max(x) - min(x)} x′=max(x)−min(x)x−min(x)

6.7.2 standardization

x ′ = x − μ ( x ) σ ( x ) x' = \frac{x - \mu(x)}{\sigma(x)} x′=σ(x)x−μ(x)

σ: 标准差(standard deviation)

u: 均值(mean)