矩阵理论基本知识

1、矩阵范数、算子范数

矩阵无穷范数是非自相容范数，矩阵1-范数、矩阵2-范数是自相容范数
矩阵2-范数：Frobenius范数，是向量2-范数的自然推广。 ∥ A ∥ m 2 = ∥ A ∥ F = ∑ a ˉ i j a i j \|A\|{m2}=\|A\|{F}=\sqrt{\sum \bar a_{ij}a_{ij}} ∥A∥m2=∥A∥F=∑aˉijaij
1. ∥ A ∥ m 2 = t r ( A H A ) = A 的正奇异值的平方和 \|A\|_{m2} = \sqrt{tr(A^HA)} = \sqrt{A的正奇异值的平方和} ∥A∥m2=tr(AHA) =A的正奇异值的平方和
2. ∥ A ∥ m 2 = ∥ U H A V ∥ m 2 = ∥ U A V H ∥ m 2 \|A\|{m2} = \|U^HAV\|{m2}=\|UAV^H\|_{m2} ∥A∥m2=∥UHAV∥m2=∥UAVH∥m2 酉等价保F范数
3. ∥ A ∥ m 2 = ∥ U A ∥ m 2 = ∥ A V ∥ m 2 = ∥ U A V ∥ m 2 \|A\|{m2} = \|UA\|{m2}=\|AV\|{m2} = \|UAV\|{m2} ∥A∥m2=∥UA∥m2=∥AV∥m2=∥UAV∥m2
若矩阵范数是相容范数：则必存在向量范数与之相容。 ∣ ∣ A x ∣ ∣ ≤ ∣ ∣ A ∣ ∣ m ∣ ∣ x ∣ ∣ ||Ax||\le||A||_m ||x|| ∣∣Ax∣∣≤∣∣A∣∣m∣∣x∣∣
1. 证明过程：构造 ∣ ∣ x ∣ ∣ = ∣ ∣ x a H ∣ ∣ m ||x|| = ||xa^H||_m ∣∣x∣∣=∣∣xaH∣∣m
2. 矩阵的特征值一定小于等于该矩阵的相容矩阵范数。
3. 反过来说，如果矩阵的特征值大于了某个矩阵范数，则该矩阵范数一定不相容。
任意向量范数：则必存在矩阵范数与之相容，其中放大效果的最大值称为算子范数。
1. 算子范数再大，不过向量范数的上确界，鸡头始终是鸡
2. 和向量范数相容的矩阵范数，终归是矩阵范数，始终有 ∣ ∣ A x ∣ ∣ ≤ ∣ ∣ A ∣ ∣ m ∣ ∣ x ∣ ∣ ||Ax||\le||A||_m ||x|| ∣∣Ax∣∣≤∣∣A∣∣m∣∣x∣∣，所以矩阵范数会大于等于算子范数。
3. 换句话说，和向量范数相容的矩阵范数的下确界是算子范数。
4. 算子范数是自相容矩阵范数。 ∣ ∣ A k ∣ ∣ ≤ ∣ ∣ A ∣ ∣ k ||A^k||\le ||A||^k ∣∣Ak∣∣≤∣∣A∣∣k
常见算子范数：
1. 从属于向量1-范数的算子范数称为算子1范数：极大绝对列和范数；
2. 从属于向量2-范数的算子范数称为算子2范数：谱范数= r ( A H A ) \sqrt{r(A^HA)} r(AHA) ；
3. 从属于向量∞-范数的算子范数称为算子无穷范数：极大绝对行和范数；
4. 证明思路：存在上界，上界可达。
算子范数的性质： ∣ ∣ ⋅ ∣ ∣ ||\cdot|| ∣∣⋅∣∣是算子范数
1. ∣ ∣ E ∣ ∣ = 1 ||E||=1 ∣∣E∣∣=1
2. ∣ ∣ A − 1 ∣ ∣ ≥ ∣ ∣ A ∣ ∣ − 1 ||A^{-1}||\ge ||A||^{-1} ∣∣A−1∣∣≥∣∣A∣∣−1； ∣ ∣ A ∣ ∣ ≥ ∣ ∣ A − 1 ∣ ∣ − 1 ||A||\ge ||A^{-1}||^{-1} ∣∣A∣∣≥∣∣A−1∣∣−1
3. ∣ ∣ A − 1 ∣ ∣ − 1 = inf ⁡ ∣ ∣ A x ∣ ∣ ∣ ∣ x ∣ ∣ = m i n x ≠ 0 ∣ ∣ A x ∣ ∣ ∣ ∣ x ∣ ∣ ≤ ∣ ∣ A ∣ ∣ ||A^{-1}||^{-1} = \inf \frac{||Ax||}{||x||} = min_{x\ne0} \frac{||Ax||}{||x||}\le||A|| ∣∣A−1∣∣−1=inf∣∣x∣∣∣∣Ax∣∣=minx=0∣∣x∣∣∣∣Ax∣∣≤∣∣A∣∣
4. ∣ λ ∣ ≤ ∣ ∣ A ∣ ∣ |\lambda|\le ||A|| ∣λ∣≤∣∣A∣∣； ∣ λ k ∣ ≤ ∣ ∣ A k ∣ ∣ |\lambda^k|\le ||A^k|| ∣λk∣≤∣∣Ak∣∣
HÖlder 范数：p-范数。可以p取1和无穷。
HÖlder不等式： ∣ X H Y ∣ ≤ ∑ ∣ x i ∣ ∣ y j ∣ ≤ ∥ X ∥ q ∥ Y ∥ p , 1 / q + 1 / p = 1 |X^HY|\le \sum|x_i||y_j| \le\|X\|_q\|Y\|_p, 1/q+1/p=1 ∣XHY∣≤∑∣xi∣∣yj∣≤∥X∥q∥Y∥p,1/q+1/p=1

2、矩阵分解

已经写过一期了，见：矩阵理论--矩阵分解

补充：

正规矩阵A性质： A H A = A A H A^HA=AA^H AHA=AAH

λ ( A ) = λ ˉ ( A H ) \lambda(A)=\bar \lambda(A^H) λ(A)=λˉ(AH)； ∣ ∣ A x ∣ ∣ = ∣ ∣ A H x ∣ ∣ ||Ax|| = ||A^Hx|| ∣∣Ax∣∣=∣∣AHx∣∣
A的特征子空间和A^H的特征子空间完全相同。
A的特征子空间正交，即不同特征值的特征向量必正交。
A是单纯矩阵

任意矩阵A：

∥ A ∥ m 2 = t r ( A H A ) = t r ( A A H ) \|A\|_{m2} = \sqrt{tr(A^HA)} = \sqrt{tr(AA^H)} ∥A∥m2=tr(AHA) =tr(AAH)
A H A A^HA AHA和 A A H AA^H AAH的非零特征值完全相同，数值相同、代数重复度相同。
rank(A)=rank(A^H)=rank(A^HA)=rank(AA^H)。证明很重要
1. A^HA的核空间包含A的核空间，即Ax=0，则必有A^HAx=0
2. A的核空间包含A^HA的核空间，即A^HAx=0，则必有x^HA^HAx=<Ax,Ax>=0，即Ax=0
3. N(A^HAx)=N(A)，由秩-零化度定理知：rank(A)=rank(A^HA)
A H A A^HA AHA和 A A H AA^H AAH都是半正定矩阵。
A的特征值和奇异值的关系：
1. 若A为非方阵，则A没有特征值。但A有奇异值。
2. 如果A为方阵，则A的特征值的平方和<=A的奇异值的平方和。（schur不等式）
3. 如果A为正规矩阵，则A的特征值的平方和==A的奇异值的平方和。
4. 正规矩阵酉相似于对角阵（谱分解），任意方阵酉相似于三角阵（shcur分解）。

3、矩阵的估计

1、有关特征值的不等式

舒尔不等式： ∑ i = 1 n ∣ λ i ∣ 2 ≤ ∣ ∣ A ∣ ∣ F 2 \sum_{i=1}^{n}|\lambda_i|^2 \le ||A||_F^2 ∑i=1n∣λi∣2≤∣∣A∣∣F2
Hirsh不等式： ∣ λ i ∣ ≤ n ∣ ∣ A ∣ ∣ m ∞ |\lambda_i| \le n ||A||{m\infty} ∣λi∣≤n∣∣A∣∣m∞
Bendixson不等式： ∣ I m λ i ∣ ≤ n ( n − 1 ) 2 ∣ ∣ ( A − A H ) / 2 ∣ ∣ m ∞ , A ∈ R n × n |Im\lambda_i|\le \sqrt{\frac{n(n-1)}{2}}||(A-A^H)/2||{m\infty},A\in R^{n\times n} ∣Imλi∣≤2n(n−1) ∣∣(A−AH)/2∣∣m∞,A∈Rn×n
1. n(n-1)是因为实矩阵的反共轭对称分量是的对角元为0。
2. 除以2是因为实矩阵的复特征根成对出现。
3. 其余证明同Hirsh不等式
Browne不等式： σ n ≤ ∣ λ i ∣ ≤ σ 1 \sigma_n\le|\lambda_i|\le \sigma_1 σn≤∣λi∣≤σ1
Hadamard不等式： ∏ i = 1 n ∣ λ i ∣ = ∣ det ⁡ ( A ) ∣ ≤ ∏ i = 1 n α i H α i \prod_{i=1}^{n}|\lambda_i|=|\det(A)|\le \sqrt{\prod_{i=1}^n\alpha_i^H\alpha_i} ∏i=1n∣λi∣=∣det(A)∣≤∏i=1nαiHαi
1. 施密特正交化：A = BR，R是单位正线上三角
2. det ⁡ ( A ) = det ⁡ ( B R ) = det ⁡ ( B ) det ⁡ ( R ) = det ⁡ ( B ) \det(A) = \det(BR)=\det(B)\det(R)=\det(B) det(A)=det(BR)=det(B)det(R)=det(B)
3. ∣ det ⁡ ( B ) ∣ 2 = ∣ det ⁡ ( B H ) det ⁡ ( B ) ∣ = ∣ det ⁡ ( B H B ) ∣ = ∏ i = 1 n b i H b i ≤ ∏ i = 1 n α i H α i |\det(B)|^2 = |\det(B^H)\det(B)| = |\det(B^HB)|=\prod_{i=1}^n b_i^Hb_i \le\prod_{i=1}^n \alpha_i^H\alpha_i ∣det(B)∣2=∣det(BH)det(B)∣=∣det(BHB)∣=∏i=1nbiHbi≤∏i=1nαiHαi
4. ∣ det ⁡ ( A ) ∣ ≤ ∏ i = 1 n α i H α i |\det(A)|\le \sqrt{\prod_{i=1}^n\alpha_i^H\alpha_i} ∣det(A)∣≤∏i=1nαiHαi

2、盖尔圆盘定理

关于圆盘定理1、圆盘定理2:Gerschgorin定理，以及用python绘制Gerschgorin圆盘动图
有的盖尔圆里面可能没有特征值（盖尔圆盘连通，将导致特征值函数不连续）
n阶矩阵A的n个圆盘均孤立，则A可对角化（充分不必要）。
n阶实矩阵A的n个圆盘均孤立，则A的特征根均为实数。
行严格对角占优矩阵A：
1. 若A的对角元全大于0，则A的所有特征值有正实部；
2. 若A的对角元全大于0，且A是Hermite矩阵，那么A的所有特征值均为正数。

3、Hermite矩阵的变分特征

Courant-Fischer定理：Hermite矩阵的特征值估计------courant-fischer定理
Weyl定理（韦尔定理）：
1. A,B均为Hermite矩阵
2. λ k ( A ) + λ n ( B ) ≤ λ k ( A + B ) ≤ λ k ( A ) + λ 1 ( B ) \lambda_k(A)+\lambda_n(B)\le\lambda_k(A+B)\le\lambda_k(A)+\lambda_1(B) λk(A)+λn(B)≤λk(A+B)≤λk(A)+λ1(B)

4、矩阵分析

矩阵序列极限的运算规则：A^(k)、B^(k)的极限为A、B
1. 线性运算：aA^(k)+bB^(k) →aA+bB (k → +∞)
2. 乘：A^(k)B^(k) →AB (k → +∞)
3. 当A^(k)、A均可逆的时候：(A^(k))^-1 → A^-1 (k → +∞)
用矩阵范数定义矩阵序列极限：
1. lim ⁡ k → + ∞ ∣ ∣ A ( k ) − A ∣ ∣ = 0 \lim_{k\to+\infty}||A^{(k)}-A||=0 limk→+∞∣∣A(k)−A∣∣=0
收敛矩阵等价于谱半径r(A)<1
1. lim ⁡ k → + ∞ A k = O \lim_{k\to+\infty}A^k=O limk→+∞Ak=O称为收敛矩阵
矩阵级数绝对收敛的充要条件是正项级数 ∑ i = 0 ∞ ∣ ∣ A ( k ) ∣ ∣ \sum_{i=0}^{\infty}||A^{(k)}|| ∑i=0∞∣∣A(k)∣∣收敛
Neumann级数：E+A+A²+A³+...... = (E-A)^-1. r(A)<1时成立
矩阵幂级数f(A)：数项幂级数f(z)收敛半径为r，若r(A)<r则f(A)绝对收敛
矩阵函数：收敛的矩阵幂级数的和S，记作f(A)
收敛半径判断方法：
1. 达朗贝尔判敛法： lim ⁡ n → ∞ ∣ c n + 1 c n ∣ = ρ {\displaystyle \lim {n\to \infty }\left\vert {c{n+1} \over c_{n}}\right\vert =\rho } n→∞lim cncn+1 =ρ , R = 1/rho
2. 柯西判敛法： R = lim inf ⁡ n → ∞ ∣ c n ∣ − 1 n {\displaystyle R=\liminf {n\to \infty }\left|c{n}\right|^{-{\frac {1}{n}}}} R=n→∞liminf∣cn∣−n1
四阶Jordan块的k次幂,特征值为a： [ a k k a k − 1 k ( k − 1 ) 2 ! k k − 2 k ( k − 1 ) ( k − 2 ) 3 ! k k − 3 0 a k k a k − 1 k ( k − 1 ) 2 ! k k − 2 0 0 a k k a k − 1 0 0 0 a k ] \begin{bmatrix}a^k&ka^{k-1}&\frac{k(k-1)}{2!}k^{k-2}&\frac{k(k-1)(k-2)}{3!}k^{k-3} \\0&a^k&ka^{k-1}&\frac{k(k-1)}{2!}k^{k-2}\\0&0 &a^k&ka^{k-1}\\0&0&0&a^k\end{bmatrix} ak000kak−1ak002!k(k−1)kk−2kak−1ak03!k(k−1)(k−2)kk−32!k(k−1)kk−2kak−1ak

5、广义逆矩阵

逆，生来就是用于解方程组的。

逆：行列满秩。
单边逆：左逆列满秩；右逆行满秩。
1. 求法：高斯消元。
2. 列满秩矩阵：Ax=b
  1. 行初等变换，可以得到左逆 A L − 1 A_L^{-1} AL−1。
  2. 有解的充要条件： A A L − 1 b = b AA_L^{-1}b=b AAL−1b=b （可拓展为AGb=b）
  3. 唯一解： x = ( A H A ) − 1 A H b = A L − 1 b \Large x = (A^HA)^{-1}A^Hb=A_L^{-1}b x=(AHA)−1AHb=AL−1b
  4. 需要注意，左逆矩阵不唯一， ( A H A ) − 1 A H (A^HA)^{-1}A^H (AHA)−1AH也是列满秩矩阵A的左逆。
3. 行满秩矩阵：
  1. 列初等变换，可以得到右逆 A R − 1 A_R^{-1} AR−1。
  2. 行满秩矩阵一定有解，且解不唯一。自由未知数的个数为n-m
  3. A H ( A A H ) − 1 A^H(AA^H)^{-1} AH(AAH)−1是A的一个右逆。右逆矩阵不唯一。
  4. 需要注意： A H ( A A H ) − 1 b ≠ A R − 1 b \large A^H(AA^H)^{-1}b {\ne} A_R^{-1}b AH(AAH)−1b=AR−1b 通常情况求出来的是两个不同的解，均满足Ax=b。这是因为行满秩矩阵Ax=b的解不唯一。
  5. 行满秩矩阵的A+是A的一个右逆。

广义逆：任何矩阵都存在广义逆矩阵。

AGA=A 等价于 G是A的广义逆矩阵。
单边逆是广义逆的特殊情况。
Ax = b有解的充要条件：rank A = rank (A b)
当A列满秩，且rank A = rank (A b) ，则有唯一解。
当A非列满秩，且有解，则有无穷多解。
Gb = x , 且Ax = b，则称G是A的一个广义逆。
广义逆矩阵不唯一，零矩阵的广义逆矩阵是任意矩阵。
广义逆矩阵通常记作 A − A^- A−，区别于 A − 1 A^{-1} A−1
广义逆矩阵的秩大于等于 A的秩。取等号，等价于 G具有自反性。
广义逆矩阵是逆矩阵的推广，当A是可逆矩阵的时候，A^-=A^-1

广义逆矩阵有逆矩阵类似的性质：

性质	广义逆矩阵	逆矩阵
定义	对于矩阵A，存在矩阵B，使得ABA=A	对于方阵A，存在矩阵B，使得AB=BA=I
记号	A − A^- A−	A − 1 A^{-1} A−1
行为	对于任意向量b，满足 A A − AA^- AA−b=b	对于任意向量b，满足 A A − 1 AA^{-1} AA−1b=b
矩阵乘法	A A − AA^- AA−A=A	AA − 1 ^{-1} −1A=A
矩阵的秩	rank( A − A A^-A A−A)=rank( A A − AA^- AA−)=rank(A)	rank(AA − 1 ^{-1} −1)=rank(A)=n（满秩）
逆的存在	广义逆存在于可逆和不可逆矩阵中	逆存在于方阵（可逆矩阵）中
唯一性	可以有多个不同的广义逆	逆是唯一的
幂等性	A A − AA^- AA− 、 A − A A^-A A−A是幂等矩阵	A A − 1 = A − 1 A = I AA^{-1}=A^{-1}A=I AA−1=A−1A=I是幂等矩阵
数乘	aA的广义逆为 1 a A − ， a ≠ 0 \frac{1}{a} A^-，a\ne0 a1A−，a=0	aA的逆为 1 a A − 1 ， a ≠ 0 \frac{1}{a} A^{-1}，a\ne0 a1A−1，a=0
正交投影	若 ( A A − ) H = A A − (AA^-)^H=AA^- (AA−)H=AA−，则 A A − = P R ( A ) AA^-=P_{R(A)} AA−=PR(A)	A A − 1 = I AA^{-1}=I AA−1=I，I是从Cⁿ到R(A)的正交投影

自反广义逆
1. 定义：AGA=A且GAG=G。存在且不唯一。
2. 求法：
  1. 最大秩分解法：A=BD， A r − = D R − 1 B L − 1 A_r^-=D_R^{-1}B_L^{-1} Ar−=DR−1BL−1
  2. 构造法：X、Y是A的广义逆，则Z = XAY是自反广义逆，当然YAX也是自反广义逆。
  3. 公式法：X=(A^HA)^-A^H，Y =A^H(AA^H)^-都是自反广义逆
    1. R(A^H)=R(A^HA), N(A)=N(A^HA)
    2. 存在D，使得A^H=A^HAD
    3. 代入可证明AXA=A
    4. rank(X)<=rank(A^H)=rank(A^HA) = rank(A^HA(A^HA)^-A^HA)=rank(A^HAXA)<=rank(X)
    5. 所以X是自反广义逆
3. A^_是自反广义逆的充要条件是rank(A)=rank(A^-)
  1. 必要性：AGA=A且GAG=G，则rank(A)=rank(AGA)<=rank(G)=rank(GAG)<=rank(A)
  2. 充分性：
    1. R(GA)属于R(G),R(GA)=R(A)=R(G)，则R(G)=R(GA)；
    2. GE=G，则存在X，GAX=G
    3. A=AGA=AGAXA=AXA
    4. 由构造法知G是自反广义逆
4. 几何性质
  1. R ( A ) ⊕ N ( A H ) = C m R(A)\oplus N(A^H)=C^m R(A)⊕N(AH)=Cm
  2. R ( A H ) ⊕ N ( A ) = C n R(A^H)\oplus N(A)=C^n R(AH)⊕N(A)=Cn
  3. R ( A ) ⊕ N ( A r − ) = C m R(A)\oplus N(A^-_r)=C^m R(A)⊕N(Ar−)=Cm
  4. R ( A r − ) ⊕ N ( A ) = C n R(A^-_r)\oplus N(A)=C^n R(Ar−)⊕N(A)=Cn
  5. R ( A r − ) = R ( A H ) R(A^-_r) = R(A^H) R(Ar−)=R(AH)
  6. N ( A r − ) = N ( A H ) N(A^-_r) = N(A^H) N(Ar−)=N(AH)
MP广义逆
1. 定义：AGA=A，GAG=G，(GA)^H=GA, (AG)^H=AG
2. 存在且唯一
3. 计算方法：
  1. 最大值分解法： A + = D H ( D D H ) − 1 ( B H B ) − 1 B H A^+=D^H(DD^H)^{-1}(B^HB)^{-1}B^H A+=DH(DDH)−1(BHB)−1BH
  2. 奇异值分解法： A + = V H D + U A^+=V^HD^+U A+=VHD+U （A = UDV^H）
  3. 注意：最大值分解不唯一，然而最大值分解的这种乘积，即A⁺是唯一的。
4. A+的性质：
  1. 自反性：(A+)⁺=A
  2. 唯一性： A + = ( A H A ) + A H = A H ( A A H ) + = D H ( D D H ) − 1 ( B H B ) − 1 B H A^+=(A^HA)^+A^H=A^H(AA^H)^+=D^H(DD^H)^{-1}(B^HB)^{-1}B^H A+=(AHA)+AH=AH(AAH)+=DH(DDH)−1(BHB)−1BH
  3. 几何性质： R ( A + ) = R ( A H ) R(A^+) = R(A^H) R(A+)=R(AH) (这是自反广义逆具有的性质)
  4. 正交投影性： A A + = P R ( A ) , A + A = P R ( A H ) AA^+=P_{R(A)},A^+A=P_{R(A^H)} AA+=PR(A),A+A=PR(AH)
  5. 行列子空间相等性：R(A)=R(A^H)的充要条件是 A + A = A + A A^+A=A^+A A+A=A+A
  6. ( A H A ) + = A + ( A H ) + = A + ( A A H ) + A = A H ( A A H ) + ( A H ) + (A^HA)^+=A^+(A^H)^+=A^+(AA^H)^+A=A^H(AA^H)^+(A^H)^+ (AHA)+=A+(AH)+=A+(AAH)+A=AH(AAH)+(AH)+
  7. A + A = ( A H A ) + ( A H A ) = ( A H A ) ( A H A ) + A^+A=(A^HA)^+(A^HA)=(A^HA)(A^HA)^+ A+A=(AHA)+(AHA)=(AHA)(AHA)+
5. 若A是Hermite矩阵：
  1. ( A 2 ) + = ( A + ) 2 (A^2)^+=(A^+)^2 (A2)+=(A+)2
矩阵方程通解:
1. AXB=D有解的充要条件：AA^-DB^-B=D
2. 通解：X=A^-DB^-+Y-A^-AYBB^-
3. Ax=b有解的充要条件：AA^-b=b
4. 通解：x = A^-b +y-A^-1Ay
相容方程组的最小范数解：
1. 相容方程组：有解方程组
2. AGA=A，(GA)^H=GA
3. Gb=x是最小范数解
不相容方程组的最小二乘解：
1. 不相容方程组：无解方程组
2. AGA=A,(AG)^H=AG
3. Gb=x是最小二乘解之一，最小二乘解的通解： x = G b + ( E − G A ) b x = Gb+(E-GA)b x=Gb+(E−GA)b
不相容方程组的最小二乘解有时候不够好，最小二乘解的最小范数解叫最佳逼近解：
1. 最佳逼近解：A⁺b=x
2. 如果方程组是相容方程组，则A⁺b是最小范数解
关于广义逆的运算规则
1. ( A − ) H = ( A H ) − (A^-)^H=(A^H)^- (A−)H=(AH)−
2. B = S A T , B − = T − 1 A − S − 1 B=SAT,B^-=T^{-1}A^-S^{-1} B=SAT,B−=T−1A−S−1
3. ( A B ) + = B + A + (AB)^+=B^+A^+ (AB)+=B+A+的充要条件： R ( A H A B ) ⊂ R ( B ) , R ( B B H A H ) ⊂ R ( A H ) R(A^HAB)\sub R(B),R(BB^HA^H)\sub R(A^H) R(AHAB)⊂R(B),R(BBHAH)⊂R(AH)
4. ( A B ) + = B + A + (AB)^+=B^+A^+ (AB)+=B+A+的充分条件：A列满秩（A^HA满秩），B行满秩（BB^H满秩）