模与内积(五)矩阵分析与应用 国科大

上一篇文章最后讲到QR分解的定义与求解,继续讲解QR分解的剩余内容

QR分解

QR分解可以将任意一个列满秩的矩阵分解为一个正交矩阵和上三角矩阵的乘积

LU分解与QR分解

最初讲到的LU分解是为了求解线性方程组,利用上三角矩阵方便求解的特性:

  • LU 分解:将变为,然后拆分为
  • QR 分解:利用正交矩阵的逆等于转置(),将转化为

无论是LU分解还是QR分解,只要矩阵唯一确定,分解形式就是唯一确定的(可以通过反证法证明)。但是,LU分解只能对方阵进行,QR分解可以对非方阵(列满秩)进行。而且LU分解无法直接用于求解正规方程(见向量空间三),而QR分解是求解正规方程的常用解法。

施密特正交化的问题

在浮点运算中,若原向量不接近正交,算法输出的向量可能严重偏离正交性。从图中例子可以看出,由于舍入的问题,经过施密特正交化后的仍然不正交,且且内积的结果与0相差很多。

改进施密特正交算法

这个图不容易看懂,仍以上述例子讲解如何改进算法(保留三位小数):

这两种方式,在本质上没有区别,唯一不同的是,改进施密特正交化在每一次计算基向量时,总是会同时提前更新后续所有向量 ,而原算法是一次只计算一个基向量。

由于浮点数的舍入,在每次计算时都会产生误差,改进施密特正交化每次更新所有向量时都会消去本次的误差,及时去除后续向量在已构造基上的分量,减少了误差的传播,而原算法由于是一次计算完一整个,导致了误差的累计,早期步骤的误差会导致后期构造的向量严重偏离正交性。

酉矩阵与正交矩阵

酉矩阵其实就是复数域上的正交矩阵,行/列正交且逆矩阵等于共轭转置(酉矩阵)或转置(正交矩阵),即为共轭转置)、

酉矩阵不改变向量长度

酉矩阵(或正交矩阵)与向量相乘时,不改变向量的长度,仅改变方向:

  • 对酉矩阵,任意复向量满足:
  • 对正交矩阵,因是实矩阵,共轭转置等价于转置,故任意实向量满足

同时值得注意的是:保长度的矩阵必然为酉矩阵

酉矩阵的性质

对复方阵,以下命题等价(任意一个成立则其余均成立):

  1. 是酉矩阵;
  2. 列是标准正交基
  3. 行是标准正交基
  4. 的逆矩阵等于其共轭转置();
  5. 保欧几里得 2 - 范数(对任意复向量)。

这些性质对于实数域上的正交矩阵也同样成立,不再赘述。

投影与正交投影

我们从生活场景入手:你站在阳光下,地面上的影子就是你在二维地面上的 "投影"。这里就有一个问题:影子的影子是什么?答案是 ------ 影子本身。因为影子已经在地面上了,再被阳光投影一次,结果还是原来的影子。

数学里的 "投影" 和这个逻辑是一样的:投影 是向量空间到自身的一种线性变换P,满足 "作用两次和作用一次的结果相同"(即)。

更严谨的定义是:若存在向量空间的一个子空间,使得变换P能把V中所有元素都映射到W里,且上的作用等同于 "不改变元素"(恒等变换),那么P就是投影。

注意 :只有当在子空间上是恒等变换时,才能叫 "投影";否则只能算普通的映射。

如果用矩阵表示投影,这个矩阵P一定满足,这种矩阵被称为 "幂等矩阵"。

正交投影

投影里有一类特殊的情况叫 "正交投影"------ 它需要先定义 "正交"(垂直)的概念:普通投影只要在向量空间里就能定义,但正交投影必须在有 "内积"(能衡量垂直关系)的空间中才存在。

定义:如果投影算子对应的子空间,和的补空间(所有不在里的部分)是垂直的,那么这个投影就是 "正交投影"。

来看一个正交投影的例子,我们把向量AC投影到AB上,使得投影AB和AC-AB(即BC)恰好垂直,我们就定义这样的投影是正交投影。

从矩阵来看,当矩阵满足时,我们称这个矩阵为对称幂等阵,而对称幂等阵就表示矩阵是正交投影阵,二者是等价的。

总结

  1. 如果一个矩阵幂等但不对称,表示投影
  2. 如果一个矩阵对称幂等,表示这个矩阵是正交投影
  3. 如果一个矩阵对称但不幂等或者其他,就只表示映射

正交投影矩阵与正交补投影矩阵

(这里要提前说明一下:按课件上正交补投影矩阵应该翻译为初等正交投影矩阵,但是我觉得这个名字太有误导性了,我也忘记上课老师怎么叫这个矩阵了,欢迎大家在评论区提醒一下,下面内容中,统一用表示正交投影矩阵,用表示正交补投影矩阵)

正交投影矩阵

对于单位向量,其正交投影矩阵定义为,设是向量空间的子空间,正交投影矩阵 是满足以下条件的线性变换对应的矩阵:对任意上的正交投影 (即,且中所有向量正交)。

正交补投影矩阵

对单位向量,形如的矩阵称为正交补投影矩阵

它的作用是将任意向量投影到 "与u正交的子空间" 中(即去除向量在u方向上的分量)

可以这样理解,对于任意一个向量,都可以唯一分解成两个互相正交(垂直)的向量,且这两个向量所在的子空间恰好正交。即分解后的向量一部分落在目标子空间(投影)里,另一部分和子空间垂直。

为什么正交投影矩阵可以做到投影?

大家以二维空间的例子会比较好理解,在平面直角坐标系中,为任意向量,在x轴上的正交投影,是正交补投影(与正交投影垂直)

非单位向量的正交投影矩阵

如图所示,只是多了一个单位化的过程。

值得注意的是,正交投影矩阵与正交补投影矩阵并不是正交矩阵。

相关推荐
业精于勤的牙16 分钟前
三角形最小路径和(二)
算法
风筝在晴天搁浅18 分钟前
hot100 239.滑动窗口最大值
数据结构·算法·leetcode
夏乌_Wx29 分钟前
练题100天——DAY31:相对名次+数组拆分+重塑矩阵
数据结构·算法
LYFlied30 分钟前
【算法解题模板】-解二叉树相关算法题的技巧
前端·数据结构·算法·leetcode
Ven%1 小时前
【AI大模型算法工程师面试题解析与技术思考】
人工智能·python·算法
天勤量化大唯粉1 小时前
枢轴点反转策略在铜期货中的量化应用指南(附天勤量化代码)
ide·python·算法·机器学习·github·开源软件·程序员创富
爱学习的小仙女!1 小时前
算法效率的度量 时间复杂度 空间复杂度
数据结构·算法
AndrewHZ1 小时前
【复杂网络分析】什么是图神经网络?
人工智能·深度学习·神经网络·算法·图神经网络·复杂网络
Swizard1 小时前
拒绝“狗熊掰棒子”!用 EWC (Elastic Weight Consolidation) 彻底终结 AI 的灾难性遗忘
python·算法·ai·训练
fab 在逃TDPIE2 小时前
Sentaurus TCAD 仿真教程(十)
算法