数学基础 -- 线性代数之格拉姆-施密特正交化

格拉姆-施密特正交化

格拉姆-施密特正交化(Gram-Schmidt Orthogonalization)是一种将一组线性无关的向量转换为一组两两正交向量的算法。通过该过程,我们能够从原始向量组中构造正交基,并且可以选择归一化使得向量组成为标准正交基。

算法步骤

假设我们有一组线性无关的向量 { v 1 , v 2 , ... , v n } \{v_1, v_2, \dots, v_n\} {v1,v2,...,vn},其目标是将这些向量正交化,得到一组两两正交的向量 { u 1 , u 2 , ... , u n } \{u_1, u_2, \dots, u_n\} {u1,u2,...,un}。

步骤 1:初始化第一个向量

第一个正交向量 u 1 u_1 u1 直接取为 v 1 v_1 v1:
u 1 = v 1 u_1 = v_1 u1=v1

步骤 2:递归构造正交向量

对于每个 k ≥ 2 k \geq 2 k≥2 的向量 v k v_k vk,我们通过从 v k v_k vk 中去除它在前面所有正交向量上的投影,来构造与前面向量正交的向量 u k u_k uk。

  1. 计算投影 : v k v_k vk 在之前所有正交向量 u 1 , u 2 , ... , u k − 1 u_1, u_2, \dots, u_{k-1} u1,u2,...,uk−1 上的投影为:
    Proj u i ( v k ) = ⟨ v k , u i ⟩ ⟨ u i , u i ⟩ u i \text{Proj}_{u_i}(v_k) = \frac{\langle v_k, u_i \rangle}{\langle u_i, u_i \rangle} u_i Projui(vk)=⟨ui,ui⟩⟨vk,ui⟩ui

    其中 ⟨ ⋅ , ⋅ ⟩ \langle \cdot, \cdot \rangle ⟨⋅,⋅⟩ 表示内积。

  2. 去投影 :从 v k v_k vk 中减去它在所有 u 1 , u 2 , ... , u k − 1 u_1, u_2, \dots, u_{k-1} u1,u2,...,uk−1 上的投影,得到与之前向量正交的新向量 u k u_k uk:
    u k = v k − ∑ i = 1 k − 1 Proj u i ( v k ) u_k = v_k - \sum_{i=1}^{k-1} \text{Proj}_{u_i}(v_k) uk=vk−i=1∑k−1Projui(vk)

  3. 归一化 (可选):如果需要正交归一基,可以将 u k u_k uk 归一化:
    u k = u k ∥ u k ∥ u_k = \frac{u_k}{\|u_k\|} uk=∥uk∥uk

通过递归执行这些步骤,最终得到一组正交(或正交归一)的向量 u 1 , u 2 , ... , u n u_1, u_2, \dots, u_n u1,u2,...,un。

使用案例

我们来看一个二维空间中的具体例子。

给定两个向量:
v 1 = ( 1 1 ) , v 2 = ( 1 0 ) v_1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \quad v_2 = \begin{pmatrix} 1 \\ 0 \end{pmatrix} v1=(11),v2=(10)

步骤 1:初始化第一个正交向量

第一个正交向量 u 1 u_1 u1 为 v 1 v_1 v1:
u 1 = v 1 = ( 1 1 ) u_1 = v_1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix} u1=v1=(11)

归一化后:
u 1 = 1 2 ( 1 1 ) u_1 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ 1 \end{pmatrix} u1=2 1(11)

步骤 2:构造第二个正交向量

第二个向量 v 2 v_2 v2 需要去掉它在 u 1 u_1 u1 上的投影:

  1. 计算投影
    Proj u 1 ( v 2 ) = ⟨ v 2 , u 1 ⟩ ⟨ u 1 , u 1 ⟩ u 1 = 1 2 ( 1 1 ) \text{Proj}_{u_1}(v_2) = \frac{\langle v_2, u_1 \rangle}{\langle u_1, u_1 \rangle} u_1 = \frac{1}{2} \begin{pmatrix} 1 \\ 1 \end{pmatrix} Proju1(v2)=⟨u1,u1⟩⟨v2,u1⟩u1=21(11)

  2. 去投影
    u 2 = v 2 − Proj u 1 ( v 2 ) = ( 1 0 ) − 1 2 ( 1 1 ) = ( 1 2 − 1 2 ) u_2 = v_2 - \text{Proj}_{u_1}(v_2) = \begin{pmatrix} 1 \\ 0 \end{pmatrix} - \frac{1}{2} \begin{pmatrix} 1 \\ 1 \end{pmatrix} = \begin{pmatrix} \frac{1}{2} \\ -\frac{1}{2} \end{pmatrix} u2=v2−Proju1(v2)=(10)−21(11)=(21−21)

  3. 归一化
    u 2 = u 2 ∥ u 2 ∥ = 1 2 ( 1 − 1 ) u_2 = \frac{u_2}{\|u_2\|} = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \end{pmatrix} u2=∥u2∥u2=2 1(1−1)

因此,经过正交化后的正交向量组为:
u 1 = 1 2 ( 1 1 ) , u 2 = 1 2 ( 1 − 1 ) u_1 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \quad u_2 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \end{pmatrix} u1=2 1(11),u2=2 1(1−1)

应用

格拉姆-施密特正交化广泛应用于以下场景:

  1. 正交基构造:将线性无关的向量转换为正交向量,便于简化计算。
  2. QR分解:将矩阵分解为正交矩阵和上三角矩阵。
  3. 数值计算:在解决最小二乘问题时,正交化可提高数值稳定性。
相关推荐
埃菲尔铁塔_CV算法12 分钟前
人工智能图像算法:开启视觉新时代的钥匙
人工智能·算法
EasyCVR12 分钟前
EHOME视频平台EasyCVR视频融合平台使用OBS进行RTMP推流,WebRTC播放出现抖动、卡顿如何解决?
人工智能·算法·ffmpeg·音视频·webrtc·监控视频接入
MarkHD15 分钟前
第十一天 线性代数基础
线性代数·决策树·机器学习
打羽毛球吗️19 分钟前
机器学习中的两种主要思路:数据驱动与模型驱动
人工智能·机器学习
好喜欢吃红柚子36 分钟前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
小馒头学python40 分钟前
机器学习是什么?AIGC又是什么?机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
神奇夜光杯1 小时前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
正义的彬彬侠1 小时前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost
Debroon1 小时前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~1 小时前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习