机器学习-无监督算法之降维

• 降维：将训练数据中的样本从高维空间转换到低维空间，降维是对原始数据线性变换实现的。
• 为什么要降维？高维计算难，泛化能力差，防止维数灾难
• 优点：减少冗余特征，方便数据可视化，减少内存。
• 缺点：可能丢失数据，需要确定保留多少主成分

奇异值分解

• 把一个矩阵拆成三个，对角矩阵起到拉伸作用，正交矩阵起到旋转作用。
• A = UΣV^T：U和V为正交矩阵，Σ为对角矩阵

Created with Raphaël 2.3.0 开始 M = UΣV^T 求M^TM的特征向量得到V 求MM^T的特征向量得到U 求M^TM或MM^T的特征值，然后开放得到奇异值 构成对角矩阵Σ

• 应用：节省存储空间，降维，图片压缩

主成分分析

1. PCA识别在训练集中占方差最大的轴
2. 步骤

• Z值化
• 计算协方差矩阵，它的特征向量就是主成分
  • 利用SVD求特征向量
  • 基于特征值求特征向量

3. 对角矩阵代表方差，其余代表相关性
4. 缺点：分类问题效果不好

t-SNE

1. 归一化
2. 计算在二维空间中数据的相似度
3. 将二维随机映射到一维，然后按照高纬度和低纬度相似度的差异，设计损失函数，用梯度下降来优化

常见降维算法