特征值，特征向量：
对于n阶方阵A，在A张成的空间里，存在非零向量v， 该向量转换到A张成的空间时，方向不变，大小变为λ倍。
① Av = λv
变换一下：
② (A - λI)v = 0
对于A向量，特征向量存在非零解的充要条件是下面的行列式值为0：
det(A - λI) = 0
计算出特征值λ。
λ可能有多个值，分别将每个值代入公式②，计算向量v，v是个表达式，也就是可以是多个向量。
向量v只会被伸缩而不会改变方向。代入任意一个值，得到一个特征值λ的特征向量v。
- 特征值性质：
特征值λ相加 = 矩阵迹相加
特征值λ相乘 = 矩阵的行列式
A矩阵的特征值分解：
其中W为特征向量组成的矩阵，Σ为对应特征值组成的对角矩阵
主成分分析 PCA
主成分可以看作是数据的新坐标系中的基向量，将原始数据投影到这些主成分上，可以实现数据降维。
步骤：
- 将原点放到数据的中心位置。
- 找到方差最大的方向
也就是：先将坐标轴的原点移动到数据的中心，再将坐标系旋转到方差最大的方向。这样大多数数据被压缩到一个低维度的X轴上。
关键步骤是找到方差最大的方向，假设手里的数据是D'，符合正态分布的数据是D：
手上的数据D'的协方差：
找出旋转矩阵R就可以知道坐标轴应该旋转的角度
将C'进行特征分解得到：
C' = WΣW(-1)
可见R = W
W为C'的特征向量组成的矩阵。
L值为特征值组成的矩阵，为S矩阵在两个方向拉伸倍数的平方，为旋转后的坐标系下，数据的方差。此时在该坐标系下方差最小。
奇异值分解 SVD
任意一个形状的矩阵M，可以分解成如下的形式：
- M 的形状为m*n，U的形状为m*m的方阵，V为n*n的方阵，Σ为m*n形状矩阵。
- U 是
得到的结果矩阵的特征向量组成的m*m的方阵 - Σ对角为奇异值，该值的平方等于特征值，而且依次从大到小排列。
- V 是
得到的结果矩阵的特征向量组成的n*n的方阵，公式用的是其转置，numpy中提供的函数：np.linalg.svd()，给出的结果也是转置后的结果。
V也是PCA主成分的方向 - U和V都是酉矩阵，即满足：
求解步骤：
