PCA例题

已知样本集合的协方差矩阵为

C x = 1 10 3 1 1 1 3 − 1 1 − 1 3 {\bm C}_x = \frac{1}{10} \begin{bmatrix} 3 & 1 & 1 \\ 1 & 3 & -1 \\ 1 & -1 & 3 \end{bmatrix} Cx=101 31113−11−13

使用PCA方法将样本向量降到二维 。


求解

计算 C x {\bm C}_x Cx的特征值得到:

λ 1 = 0.1 , λ 2 = λ 3 = 0.4 \lambda_1 = 0.1, \quad \lambda_2 = \lambda_3 = 0.4 λ1=0.1,λ2=λ3=0.4

其对应的特征向量分别为:

u 1 = 1 3 1 − 1 − 1 , u 2 = 1 6 2 1 1 , u 3 = 1 2 0 1 − 1 {\bm u}_1 = \frac{1}{\sqrt{3}} \begin{bmatrix} 1 \\ -1 \\ -1 \end{bmatrix}, \quad {\bm u}_2 = \frac{1}{\sqrt{6}} \begin{bmatrix} 2 \\ 1 \\ 1 \end{bmatrix}, \quad {\bm u}_3 = \frac{1}{\sqrt{2}} \begin{bmatrix} 0 \\ 1 \\ -1 \end{bmatrix} u1=3 1 1−1−1 ,u2=6 1 211 ,u3=2 1 01−1

取最大的两个特征值 λ 2 , λ 3 \lambda_2, \lambda_3 λ2,λ3对应的特征向量构成压缩空间,形成新的向量:

y ~ = u 2 u 3 ⊤ x = 2 / 6 1 / 6 1 / 6 0 1 / 2 − 1 / 2 x {\tilde {\bm y}} = \begin{bmatrix} {\bm u}_2 & {\bm u}_3 \end{bmatrix}^\top {\bm x} = \begin{bmatrix} 2/\sqrt{6} & 1/\sqrt{6} & 1/\sqrt{6} \\ 0 & 1/\sqrt{2} & -1/\sqrt{2} \end{bmatrix} {\bm x} y~=u2u3⊤x=2/6 01/6 1/2 1/6 −1/2 x


K-L 变换为:

y = W ⊤ x = u 1 u 2 u 3 ⊤ x = 1 / 3 − 1 / 3 − 1 / 3 2 / 6 1 / 6 1 / 6 0 1 / 2 − 1 / 2 x {\bm y} = {\bm W}^\top {\bm x} = \begin{bmatrix} {\bm u}_1 & {\bm u}_2 & {\bm u}_3 \end{bmatrix}^\top {\bm x} = \begin{bmatrix} 1/\sqrt{3} & -1/\sqrt{3} & -1/\sqrt{3} \\ 2/\sqrt{6} & 1/\sqrt{6} & 1/\sqrt{6} \\ 0 & 1/\sqrt{2} & -1/\sqrt{2} \end{bmatrix} {\bm x} y=W⊤x=u1u2u3⊤x= 1/3 2/6 0−1/3 1/6 1/2 −1/3 1/6 −1/2 x

相关推荐
塑料铲子2 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
Pniubi2 小时前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK3 小时前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set
TsingtaoAI3 小时前
VeyForge:构建具身智能的AI 3D资产与Sim-to-Real数据引擎
人工智能·机器学习
上海潭龙东海科技有限公司4 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
阿庆_AI研发工程师6 小时前
Stanford CS336 Lecture 10:大语言模型推理与性能优化
算法
用户7341681035486 小时前
基于MindSpore的深度残差收缩网络程序
算法
Pniubi7 小时前
力扣239.滑动窗口最大值(优先队列)
算法·leetcode·职场和发展
青少儿编程课堂8 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
超低空9 小时前
一文说清LRU算法
后端·算法·架构