主成分分析(PCA)例题——给定协方差矩阵

向量 x x x的相关矩阵为

R x = [ 0.3 0.1 0.1 0.1 0.3 − 0.1 0.1 − 0.1 0.3 ] {\bm R}_x = \begin{bmatrix} 0.3 & 0.1 & 0.1 \\ 0.1 & 0.3 & -0.1 \\ 0.1 & -0.1 & 0.3 \end{bmatrix} Rx= 0.30.10.10.10.3−0.10.1−0.10.3

计算输入向量的 KL 变换。


解答

R x {\bm R}_x Rx的特征值为 λ 0 = 0.1 \lambda_0 = 0.1 λ0=0.1, λ 1 = λ 2 = 0.4 \lambda_1 = \lambda_2 = 0.4 λ1=λ2=0.4。

既然 R x {\bm R}_x Rx是对称的,可以构建正交特征向量。

在这个例子中,有

u 0 = 1 3 [ 1 − 1 − 1 ] , u 1 = 1 6 [ 2 1 1 ] , u 2 = 1 2 [ 0 1 − 1 ] {\bm u}_0 = \frac{1}{\sqrt{3}} \begin{bmatrix} 1 \\ -1 \\ -1 \end{bmatrix}, \quad {\bm u}_1 = \frac{1}{\sqrt{6}} \begin{bmatrix} 2 \\ 1 \\ 1 \end{bmatrix}, \quad {\bm u}_2 = \frac{1}{\sqrt{2}} \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix} u0=3 1 1−1−1 ,u1=6 1 211 ,u2=2 1 01−1

则 KL 变换为

y ( 0 ) y ( 1 ) y ( 2 ) \] = \[ 2 / 6 1 / 6 1 / 6 0 1 / 2 − 1 / 2 1 / 3 − 1 / 3 − 1 / 3 \] \[ x ( 0 ) x ( 1 ) x ( 2 ) \] \\begin{bmatrix} y(0) \\\\ y(1) \\\\ y(2) \\end{bmatrix} = \\begin{bmatrix} 2/\\sqrt{6} \& 1/\\sqrt{6} \& 1/\\sqrt{6} \\\\ 0 \& 1/\\sqrt{2} \& -1/\\sqrt{2} \\\\ 1/\\sqrt{3} \& -1/\\sqrt{3} \& -1/\\sqrt{3} \\end{bmatrix} \\begin{bmatrix} x(0) \\\\ x(1) \\\\ x(2) \\end{bmatrix} y(0)y(1)y(2) = 2/6 01/3 1/6 1/2 −1/3 1/6 −1/2 −1/3 x(0)x(1)x(2) 其中 y ( 0 ) , y ( 1 ) y(0), y(1) y(0),y(1)对应于两个最大的特征值。

相关推荐
辰尘_星启7 小时前
[线性代数]矩阵/向量求导为什么要区别分子布局和分母布局
神经网络·线性代数·数学·矩阵·控制·导数
西***634711 小时前
从被动响应到主动预判:矩阵技术重塑机场安全监控新生态
线性代数·矩阵
梯度下降中11 小时前
求职面试中的线代知识总结
人工智能·线性代数·算法·机器学习
We་ct13 小时前
LeetCode 289. 生命游戏:题解+优化,从基础到原地最优
前端·算法·leetcode·矩阵·typescript
fie888917 小时前
MATLAB中LASSO方法的特征矩阵优化与特征选择实现
开发语言·matlab·矩阵
Candice Can18 小时前
【机器学习】吴恩达机器学习Lecture3-Linear Algebra review(optional) 线性代数回顾
人工智能·线性代数·机器学习·吴恩达机器学习
颢珂智库Haokir Insights18 小时前
线性代数 (Linear Algebra) 的数学模型示例:数据变换
线性代数
重生之我是Java开发战士2 天前
【优选算法】前缀和:一二维前缀和,寻找数组的中心下标,除自身以外数组的乘积,和为K的子数组,和可被K整除的子数组,连续数组,矩阵区域和
线性代数·算法·矩阵
We་ct2 天前
LeetCode 73. 矩阵置零:原地算法实现与优化解析
前端·算法·leetcode·矩阵·typescript
好学且牛逼的马2 天前
【Hot100|22-LeetCode 206. 反转链表 - 完整解法详解】
算法·leetcode·矩阵