矩阵理论--矩阵分解

矩阵理论--矩阵分解

矩阵的三角分解、谱分解、最大秩分解、奇异值分解的操作步骤,以及相关说明。

1、QR分解

(1)非奇异方阵

方阵(非奇异):将方阵分解成酉矩阵左乘正线上三角,或者酉矩阵右乘正线下三角。

  1. 分解步骤:
    1. 列分块得n个列向量构成的向量组;
    2. 将n个列向量施密特正交单位化;
    3. 用标准正交基表出该向量组;
    4. 写成矩阵相乘的形式,即得三角分解。
  2. 施密特正交化-单位化:
    1. B1 = A1/|A1|;
    2. B2 = [A2-(A2,B1)B1]/|A2-(A2,B1)|;
    3. B3 = [A3 - (A3,B2)B2-(A3,B1)B1]/|A3 - (A3,B2)B2-(A3,B1)B1|;
  3. 反过来表出:记k11=|A1|,k22 = |A2-(A2,B1)|,k12=(B1,A2)
    1. A1 = k11B1;
    2. A2 = k12B1+k22B2;
    3. A3 = k13B1+k23B2+k33B3;
    4. A = [A1,A2,A3] = [B1,B2,B3][k11,k12,k13; 0,k22,k23;0,0,k33]

(2)满秩的高矩阵、宽矩阵

  1. 列满秩矩阵,列分块,添加列向量,补成一个方阵(非奇异),再按方阵的方式分解,将得到一个方形的酉矩阵左乘(正线上三角;0)
  2. 行满秩矩阵,行分块,添加行向量,补成一个方阵(非奇异),再按方阵的方式分解,将得到一个方形的酉矩阵右乘(正线下三角,0)

(3)其它矩阵

奇异矩阵,非满秩的高矩阵、宽矩阵,可以分解为 U ∣ L 0 0 0 ∣ V U\begin{vmatrix}L&0\\0&0\end{vmatrix}V U L000 V,U、V是两个方形酉矩阵(不一定同阶)。

分解步骤

2、谱分解

谱是指矩阵的所有特征根构成的集合,表示为 𝜆(A)={𝜆1,𝜆2,......,𝜆r}。

首先需要指出,只有单纯矩阵才有谱分解。

(1)单纯矩阵:每个特征根的基础解系的维数等于特征根的重数。

单纯矩阵,等价于可对角化矩阵。

  1. 分解步骤:P仅是一个非奇异阵。
    1. 解特征方程式,求特征根;
    2. 相似对角化:D = diag() = P^-1^AP;A = PDP^-1^;
    3. P列分块,P^-1^行分块,利用分块矩阵的乘法即得A的谱分解
  2. 单纯矩阵谱分解就是将矩阵分解成一系列的秩一矩阵加权和。
  3. 相似对角化:
    1. Ap = p𝜆,p是某个特征根的特征向量
    2. 由于是单纯矩阵,该特征根有几重,这样的p就有几个,这几个p要求线性无关;
    3. 一共有n个p,从而构成一个方阵P,且线性无关,那么就非奇异,有逆;
    4. D = P^-1^AP。
  4. 秩一矩阵:行向量乘以列向量。
  5. 幂等矩阵:投影矩阵,AA=A;由于P^-1^P=E,则P的行向量乘以P^-1^的列向量,将得到一个幂等矩阵。
  6. 幂等矩阵的秩可以是小于n的任何一个数,0矩阵也是一种幂等矩阵;特征值非零即1,可对角化。
  7. 秩一矩阵要么是幂等矩阵,要么是幂等矩阵乘以一个缩放因子,即AA=kA。

(2)正规矩阵:满足A^H^A=AA^H^。正规矩阵一定是单纯矩阵。

  1. 分解步骤:此处的P是一个酉矩阵。

    1. 相似对角化;
    2. P列分块,P^-1^行分块,分块矩阵乘法。
  2. 正规矩阵谱分解成了一系列的正交投影的加权和。

  3. 正交投影:幂等矩阵,并且是Hermite阵。

  4. 如果A为上三角矩阵,则A是正规矩阵的充要条件是A为对角矩阵;

  5. 如果A为块上三角矩阵,则A是正规矩阵的充要条件是A为块对角矩阵,且对角块为正规矩阵。

  6. tr(AA^H^)=tr(A^H^A)=A的矩阵二范数;

3、最大秩分解

  1. 最大秩分解:任意矩阵A,A=BD,B是一个列满秩矩阵,D是一个行满秩矩阵,三个矩阵的秩相等。
  2. 分解方法:
    1. A化为行简化阶梯形A_w;
    2. A_w的非0列对应于A中的列构成B,A_w的非0行对应于A_w的行构成D
  3. 列满秩矩阵:A是mxn的矩阵,若m>=n,则rank(A)<=n,nullity(A)<=n
    1. 秩零度定理:rank(A) + nullity(A) = n
    2. nullity(A)等于Ax=0的解空间维数。
    3. 如果rank(A)=n,那么nullity(A)=0,即Ax=0的解空间为零空间。
    4. 列满秩矩阵构成的齐次线性方程组只有零解。

4、奇异值分解

三角分解: A = U ∣ L 0 0 0 ∣ V A=U\begin{vmatrix}L&0\\0&0\end{vmatrix}V A=U L000 V

其中L是一个r阶正线下三角矩阵。

为了进一步简化,发展出奇异值分解: A = U ∣ D 0 0 0 ∣ V A=U\begin{vmatrix}D&0\\0&0\end{vmatrix}V A=U D000 V。

其中D是一个r阶正线对角矩阵。

  1. 分解步骤:
    1. 求A^H^A的特征值,从而求出正奇异值 σ i = λ i \sigma_i = \sqrt{\lambda_i} σi=λi 。
    2. 由于是正规矩阵,因此可以将每个特征根对应的特征子空间的基抽出来构成一个n阶酉矩阵 V = ∣ V 1 V 2 ∣ V = \begin{vmatrix}V1\\V2 \end{vmatrix} V= V1V2 。
    3. A H A = V H ∣ D H D 0 0 0 ∣ V A^HA=V^H\begin{vmatrix}D^HD&0\\0&0\end{vmatrix}V AHA=VH DHD000 V
    4. D H D = d i a g { λ 1 , λ 2 , . . . , λ r } D^HD=diag\{{\lambda_1,\lambda_2,...,\lambda_r}\} DHD=diag{λ1,λ2,...,λr};D=diag{𝛿1,𝛿2,...,𝛿r},|𝛿i| = 𝛔i > 0; D的取法不唯一,𝛿i是一个复数,模长为𝛔i,相位任意。
    5. U = (U1, U2);U1 = AV1^H^D^-1^;U2是U1的正交补,U2^H^U1=0。U1^H^x=0,求出基础解系,U1和基础解系一起作施密特正交化,即得U。
    6. U^H^AV^H^ = ∣ D 0 0 0 ∣ \begin{vmatrix}D&0\\0&0\end{vmatrix} D000 ;
    7. A = U ∣ D 0 0 0 ∣ V U\begin{vmatrix}D&0\\0&0\end{vmatrix}V U D000 V
  2. (A^H^A)^H^ = A^H^A,因此A^H^A是n阶正规矩阵,正规矩阵可以谱分解成一系列正交投影的加权和,正规矩阵是半正定矩阵。
  3. 正交补的求法:W2是W1的正交补。
    1. 根据秩零度定理:rank(A)+N(A)=n;
    2. A的极大无关列向量组可张成rank(A)维的空间W1;
    3. 令Ax=0,求出基础解系,基础解系可张成解空间W2;
    4. W1⨁W2=V(C^n^)
相关推荐
罗小罗同学2 分钟前
医工交叉入门书籍分享:Transformer模型在机器学习领域的应用|个人观点·24-11-22
深度学习·机器学习·transformer
孤独且没人爱的纸鹤5 分钟前
【深度学习】:从人工神经网络的基础原理到循环神经网络的先进技术,跨越智能算法的关键发展阶段及其未来趋势,探索技术进步与应用挑战
人工智能·python·深度学习·机器学习·ai
羊小猪~~9 分钟前
tensorflow案例7--数据增强与测试集, 训练集, 验证集的构建
人工智能·python·深度学习·机器学习·cnn·tensorflow·neo4j
不去幼儿园2 小时前
【MARL】深入理解多智能体近端策略优化(MAPPO)算法与调参
人工智能·python·算法·机器学习·强化学习
无脑敲代码,bug漫天飞3 小时前
COR 损失函数
人工智能·机器学习
HPC_fac130520678164 小时前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
Guofu_Liao8 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
老艾的AI世界12 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
DK2215112 小时前
机器学习系列----关联分析
人工智能·机器学习
FreedomLeo113 小时前
Python数据分析NumPy和pandas(四十、Python 中的建模库statsmodels 和 scikit-learn)
python·机器学习·数据分析·scikit-learn·statsmodels·numpy和pandas