【线性代数与矩阵论】范数理论

范数理论

2023年11月16日

文章目录

范数理论
- [1. 向量的范数](#1. 向量的范数)
- [2. 常用向量范数](#2. 常用向量范数)
- [3. 向量范数的等价性](#3. 向量范数的等价性)
- [4. 矩阵的范数](#4. 矩阵的范数)
- [5. 常用的矩阵范数](#5. 常用的矩阵范数)
- [6. 矩阵范数与向量范数的相容性](#6. 矩阵范数与向量范数的相容性)
- [7. 矩阵范数诱导的向量范数](#7. 矩阵范数诱导的向量范数)
- [8. 由向量范数诱导的矩阵范数](#8. 由向量范数诱导的矩阵范数)
- [9. 矩阵范数的酉不变性](#9. 矩阵范数的酉不变性)
- [10. 矩阵范数的等价性](#10. 矩阵范数的等价性)
- [11. 长方阵的范数](#11. 长方阵的范数)
- 下链

1. 向量的范数

向量的长度也称为向量的二范数

[!quote]- 长度的定理

设 x , y , z ∈ C n , λ ∈ C {x,y,z\in \mathbb C^n \,\,,\,\, \lambda\in \mathbb C} x,y,z∈Cn,λ∈C

非负性：长度大于等于 0 {0} 0 ，仅当向量为 0 {0} 0 时取等。

齐次性： ∣ ∣ λ x ∣ ∣ = ∣ λ ∣ ⋅ ∣ ∣ x ∣ ∣ || \lambda x||=| \lambda| \cdot ||x|| ∣∣λx∣∣=∣λ∣⋅∣∣x∣∣。

三角不等式性： ∣ ∣ x + y ∣ ∣ ≤ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ ||x+y||\le||x||+||y|| ∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣。

定义设 ∣ ∣ ⋅ ∣ ∣ {|| \cdot ||} ∣∣⋅∣∣ 是 C n { \mathbb C^n } Cn 上的一个泛函，满足

正定性： ∀ x ∈ C n {\forall x\in \mathbb C^n} ∀x∈Cn ， ∣ ∣ x ∣ ∣ ≥ 0 {||x||\ge 0} ∣∣x∣∣≥0 ，且 ∣ ∣ x ∣ ∣ = 0 {||x||=0} ∣∣x∣∣=0 的充要条件是 x = 0 {x=0} x=0
齐次性： ∀ λ ∈ C {\forall \lambda \in \mathbb C} ∀λ∈C ， x ∈ C n {x\in \mathbb C^n} x∈Cn ， ∣ ∣ λ x ∣ ∣ = ∣ λ ∣ ⋅ ∣ ∣ x ∣ ∣ {|| \lambda x||=| \lambda| \cdot ||x||} ∣∣λx∣∣=∣λ∣⋅∣∣x∣∣
三角不等式性： ∀ x , y ∈ C n { \forall x,y\in \mathbb C^n} ∀x,y∈Cn ， ∣ ∣ x + y ∣ ∣ ≤ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ {||x+y|| \le ||x||+||y||} ∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣

则称 ∣ ∣ ⋅ ∣ ∣ {|| \cdot ||} ∣∣⋅∣∣ 是 C n { \mathbb C^n} Cn 上的一个向量范数。

定理对任意 x , y ∈ C n {x,y\in \mathbb C^n} x,y∈Cn ，有

∣ ∣ − x ∣ ∣ = ∣ ∣ x ∣ ∣ {||-x||=||x||} ∣∣−x∣∣=∣∣x∣∣
∣ ∣ ∣ x ∣ ∣ − ∣ ∣ y ∣ ∣ ∣ ≤ ∣ ∣ x − y ∣ ∣ {|||x||-||y|||\le||x-y||} ∣∣∣x∣∣−∣∣y∣∣∣≤∣∣x−y∣∣

2. 常用向量范数

设 x ∈ C n {x\in \mathbb C^n} x∈Cn ，定义

向量的1范数：
∣ ∣ x ∣ ∣ 1 = ∑ i = 1 n ∣ x i ∣ ||x||1= \sum{i=1}^{ n}|x_i| ∣∣x∣∣1=i=1∑n∣xi∣
为每个分量的绝对值之和。
向量的2范数：
∣ ∣ x ∣ ∣ 2 = ∑ i = 1 n ∣ x i ∣ 2 ||x||2= \sqrt{ \sum{i=1}^{ n}|x_i|^2} ∣∣x∣∣2=i=1∑n∣xi∣2
长度，欧几里得空间中的距离。
向量的 p {p} p 范数：
∣ ∣ x ∣ ∣ p = ( ∑ i = 1 n ∣ x i ∣ p ) 1 p , 1 ≤ p ≤ + ∞ ||x||p= (\sum{i=1}^{ n}|x_i|^p)^{\frac{1}{p}} \,\,,\,\, 1\le p\le +\infty ∣∣x∣∣p=(i=1∑n∣xi∣p)p1,1≤p≤+∞
向量的无穷范数（ p → ∞ {p\to\infty} p→∞ ）
∣ ∣ x ∣ ∣ ∞ = max ⁡ 1 ≤ i ≤ n ∣ x i ∣ ||x||\infty= \max{1\le i\le n}|x_i| ∣∣x∣∣∞=1≤i≤nmax∣xi∣
向量分量中绝对值最大的一个。

如果 A ∈ C n × n {A\in \mathbb C^{n \times n}} A∈Cn×n 是Hermit正定矩阵，则
∣ ∣ x ∣ ∣ A = x H A x , x ∈ C n {||x||_A= \sqrt{x^ \mathrm H Ax}\,\,,\,\, x\in \mathbb C^n} ∣∣x∣∣A=xHAx ,x∈Cn

也是 C n { \mathbb C^n } Cn 上的向量范数。

3. 向量范数的等价性

定义设 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||{v1}} ∣∣⋅∣∣v1 与 ∣ ∣ ⋅ ∣ ∣ v 2 {|| \cdot ||{v2}} ∣∣⋅∣∣v2 是 C n { \mathbb C^n} Cn 上两个向量范数，如果存在常数 c 1 , c 2 > 0 {c_1,c_2>0} c1,c2>0 使得 ∀ x ∈ C n { \forall x\in \mathbb C^n} ∀x∈Cn 有
c 1 ∣ ∣ x ∣ ∣ v 1 ≤ ∣ ∣ x ∣ ∣ v 2 ≤ c 2 ∣ ∣ x ∣ ∣ v 1 c_1||x||{v1}\le||x||{v2}\le c_2||x||_{v1} c1∣∣x∣∣v1≤∣∣x∣∣v2≤c2∣∣x∣∣v1

则称向量范数 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||{v1}} ∣∣⋅∣∣v1 与 ∣ ∣ ⋅ ∣ ∣ v 2 {|| \cdot ||{v2}} ∣∣⋅∣∣v2 等价。

理解向量空间所有向量的 ∣ ∣ ⋅ ∣ ∣ v 2 {|| \cdot ||{v2}} ∣∣⋅∣∣v2 范数不会小于其 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||{v1}} ∣∣⋅∣∣v1 范数的 c 1 {c_1} c1 倍，也不会大于其 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||_{v1}} ∣∣⋅∣∣v1 范数的 c 2 {c_2} c2 倍。同一个向量的两个范数要么同时大，要么同时小，但不一定成比例。

向量范数的等价实际上是等价关系

自身性：所有范数与自己等价
对称性：若 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||{v1}} ∣∣⋅∣∣v1 与 ∣ ∣ ⋅ ∣ ∣ v 2 {|| \cdot ||{v2}} ∣∣⋅∣∣v2 等价，则 ∣ ∣ ⋅ ∣ ∣ v 2 {|| \cdot ||{v2}} ∣∣⋅∣∣v2 与 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||{v1}} ∣∣⋅∣∣v1 等价
传递性：若 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||{v1}} ∣∣⋅∣∣v1 与 ∣ ∣ ⋅ ∣ ∣ v 2 {|| \cdot ||{v2}} ∣∣⋅∣∣v2 等价， ∣ ∣ ⋅ ∣ ∣ v 3 {|| \cdot ||{v3}} ∣∣⋅∣∣v3 与 ∣ ∣ ⋅ ∣ ∣ v 2 {|| \cdot ||{v2}} ∣∣⋅∣∣v2 等价，则 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||{v1}} ∣∣⋅∣∣v1 与 ∣ ∣ ⋅ ∣ ∣ v 3 {|| \cdot ||{v3}} ∣∣⋅∣∣v3 等价

定理 C n {\mathbb C^n} Cn 上的所有向量范数等价。
向量范数在向量序列极限概念上的应用
lim ⁡ k → ∞ x ( k ) = x ⟺ lim ⁡ k → ∞ ∣ ∣ x ( k ) − x ∣ ∣ = 0 \lim_{k\to\infty}x^{(k)}=x \iff \lim_{k\to\infty}||x^{(k)}-x||=0 k→∞limx(k)=x⟺k→∞lim∣∣x(k)−x∣∣=0

4. 矩阵的范数

定义设 ∣ ∣ ⋅ ∣ ∣ {|| \cdot ||} ∣∣⋅∣∣ 是 C n × n { \mathbb C^{n \times n} } Cn×n 上的一个泛函，满足

正定性： ∀ A ∈ C n × n {\forall A\in \mathbb C^{n \times n}} ∀A∈Cn×n ， ∣ ∣ x ∣ ∣ ≥ 0 {||x||\ge 0} ∣∣x∣∣≥0 ，且 ∣ ∣ x ∣ ∣ = 0 {||x||=0} ∣∣x∣∣=0 的充要条件是 x = 0 {x=0} x=0
齐次性： ∀ λ ∈ C {\forall \lambda \in \mathbb C} ∀λ∈C ， A ∈ C n × n {A\in \mathbb C^{n \times n}} A∈Cn×n ， ∣ ∣ λ A ∣ ∣ = ∣ λ ∣ ⋅ ∣ ∣ A ∣ ∣ {|| \lambda A||=| \lambda| \cdot ||A||} ∣∣λA∣∣=∣λ∣⋅∣∣A∣∣
三角不等式性： ∀ A , B ∈ C n × n { \forall A,B\in \mathbb C^{n \times n}} ∀A,B∈Cn×n ， ∣ ∣ A + B ∣ ∣ ≤ ∣ ∣ A ∣ ∣ + ∣ ∣ B ∣ ∣ {||A+B|| \le ||A||+||B||} ∣∣A+B∣∣≤∣∣A∣∣+∣∣B∣∣
乘积不等式（相容性）： ∀ A , B ∈ C n × n { \forall A,B\in \mathbb C^{n \times n}} ∀A,B∈Cn×n ， ∣ ∣ A B ∣ ∣ ≤ ∣ ∣ A ∣ ∣ ⋅ ∣ ∣ B ∣ ∣ {||AB|| \le ||A|| \cdot ||B||} ∣∣AB∣∣≤∣∣A∣∣⋅∣∣B∣∣

则称 ∣ ∣ ⋅ ∣ ∣ {|| \cdot ||} ∣∣⋅∣∣ 是 C n × n { \mathbb C^{n \times n}} Cn×n 上的一个矩阵范数。

5. 常用的矩阵范数

设 A = ( a i j ) ∈ C n × n {A=(a_{ij})\in \mathbb C^{n \times n}} A=(aij)∈Cn×n ，定义

矩阵的 m 1 {m_1} m1 范数
∣ ∣ A ∣ ∣ m 1 = ∑ i = 1 n ∑ j = 1 n ∣ a i j ∣ ||A||{m1}= \sum{i=1}^{ n}\sum_{j=1}^{ n}|a_{ij}| ∣∣A∣∣m1=i=1∑nj=1∑n∣aij∣
矩阵的 F {F} F 范数
∣ ∣ A ∣ ∣ F = ( ∑ i = 1 n ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 = tr ( A H A ) ||A||F= (\sum{i=1}^{ n}\sum_{j=1}^{ n}|a_{ij}|^2)^{ \frac{1}{2}}= \sqrt{\text{tr}(A^{\mathrm H}A) } ∣∣A∣∣F=(i=1∑nj=1∑n∣aij∣2)21=tr(AHA)
为每个元素平方再求和最后开方。
矩阵的 m ∞ {m_\infty} m∞ 范数
∣ ∣ A ∣ ∣ m ∞ = n ⋅ max ⁡ 1 ≤ i , j ≤ n ∣ a i j ∣ ||A||{m\infty}=n \cdot \max{1\le i,j\le n}|a_{ij}| ∣∣A∣∣m∞=n⋅1≤i,j≤nmax∣aij∣

6. 矩阵范数与向量范数的相容性

定义设 ∣ ∣ ⋅ ∣ ∣ m {|| \cdot ||{m}} ∣∣⋅∣∣m 是 C n × n { \mathbb C^{n \times n} } Cn×n 上的矩阵范数， ∣ ∣ ⋅ ∣ ∣ v {|| \cdot ||{v}} ∣∣⋅∣∣v 是 C n { \mathbb C^n} Cn 上的向量范数，如果 ∀ A ∈ C n × n , x ∈ C n { \forall A\in \mathbb C^{n \times n},x\in \mathbb C^n} ∀A∈Cn×n,x∈Cn
∣ ∣ A x ∣ ∣ v ≤ ∣ ∣ A ∣ ∣ m ⋅ ∣ ∣ x ∣ ∣ v ||Ax||_v\le ||A||_m \cdot ||x||_v ∣∣Ax∣∣v≤∣∣A∣∣m⋅∣∣x∣∣v

总是成立，则称矩阵范数 ∣ ∣ ⋅ ∣ ∣ m {|| \cdot ||{m}} ∣∣⋅∣∣m 与向量范数 ∣ ∣ ⋅ ∣ ∣ v {|| \cdot ||{v}} ∣∣⋅∣∣v 相容。下标m表示matrix，v表示vector。

定理

矩阵范数 ∣ ∣ ⋅ ∣ ∣ m 1 {|| \cdot ||{m1}} ∣∣⋅∣∣m1 ， ∣ ∣ ⋅ ∣ ∣ F {|| \cdot ||{F}} ∣∣⋅∣∣F 分别与 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||{v1}} ∣∣⋅∣∣v1， ∣ ∣ ⋅ ∣ ∣ v 2 {|| \cdot ||{v2}} ∣∣⋅∣∣v2 相容
矩阵范数 ∣ ∣ ⋅ ∣ ∣ m ∞ {|| \cdot ||{m\infty}} ∣∣⋅∣∣m∞ 与向量范数 ∣ ∣ ⋅ ∣ ∣ v 1 {|| \cdot ||{v1}} ∣∣⋅∣∣v1， ∣ ∣ ⋅ ∣ ∣ v 2 {|| \cdot ||{v2}} ∣∣⋅∣∣v2 ， ∣ ∣ ⋅ ∣ ∣ v ∞ {|| \cdot ||{v\infty}} ∣∣⋅∣∣v∞ 相容

7. 矩阵范数诱导的向量范数

对于任意的矩阵范数，都可以找到与之相容的向量范数。

设 ∣ ∣ ⋅ ∣ ∣ m {|| \cdot ||_m} ∣∣⋅∣∣m 是 C n × n { \mathbb C^{n \times n}} Cn×n 上一个矩阵范数，取 a ∈ C n {a\in \mathbb C^n} a∈Cn ，且 a ≠ 0 {a\ne0} a=0 ，定义
∣ ∣ x ∣ ∣ v = ∣ ∣ x a H ∣ ∣ m , x ∈ C n ||x||_v=||xa^ \mathrm H||_m \,\,,\,\, x\in \mathbb C^n ∣∣x∣∣v=∣∣xaH∣∣m,x∈Cn

可以证明，它是 C n { \mathbb C^n } Cn 上的向量范数，称为由矩阵范数 ∣ ∣ ⋅ ∣ ∣ m {|| \cdot ||_m} ∣∣⋅∣∣m 所诱导的向量范数。
定理 C n × n {\mathbb C^{n \times n} } Cn×n 上任意一矩阵范数 ∣ ∣ ⋅ ∣ ∣ m {|| \cdot ||_m} ∣∣⋅∣∣m 与他所诱导的向量范数 ∣ ∣ ⋅ ∣ ∣ v {|| \cdot ||_v} ∣∣⋅∣∣v 相容。
∣ ∣ A x ∣ ∣ v = ∣ ∣ ( A x ) a H ∣ ∣ m = ∣ ∣ A ( x a H ) ∣ ∣ m ≤ ∣ ∣ A ∣ ∣ m ∣ ∣ ( x a H ) ∣ ∣ m = ∣ ∣ A ∣ ∣ m ∣ ∣ x ∣ ∣ v \begin{align*} ||Ax||_v=&||(Ax)a^ \mathrm H||_m=||A(xa^ \mathrm H)||_m \\ \\ \le&||A||_m||(xa^ \mathrm H)||_m=||A||_m||x||_v \end{align*} ∣∣Ax∣∣v=≤∣∣(Ax)aH∣∣m=∣∣A(xaH)∣∣m∣∣A∣∣m∣∣(xaH)∣∣m=∣∣A∣∣m∣∣x∣∣v

8. 由向量范数诱导的矩阵范数

设 ∣ ∣ ⋅ ∣ ∣ v {|| \cdot ||_v} ∣∣⋅∣∣v 是 C n { \mathbb C^n} Cn 上一个向量范数，定义
∣ ∣ A ∣ ∣ m = max ⁡ ∣ ∣ x ∣ ∣ v = 1 ∣ ∣ A x ∣ ∣ v = max ⁡ x ≠ 0 ∣ ∣ A x ∣ ∣ v ∣ ∣ x ∣ ∣ v , A ∈ C n × n ||A||m=\max{||x||_v=1}||Ax||v=\max{x\ne 0} \frac{||Ax||_v}{||x||_v} \,\,,\,\, A\in \mathbb C^{n \times n} ∣∣A∣∣m=∣∣x∣∣v=1max∣∣Ax∣∣v=x=0max∣∣x∣∣v∣∣Ax∣∣v,A∈Cn×n
( ∣ ∣ A x ∣ ∣ v ∣ ∣ x ∣ ∣ v = ∣ ∣ 1 ∣ ∣ x ∣ ∣ v A x ∣ ∣ v = ∣ ∣ A ( 1 ∣ ∣ x ∣ ∣ v x ) ∣ ∣ v ) \bigg( \frac{||Ax||_v}{||x||v}= \bigg| \bigg| \frac{1}{||x||{v}}Ax \bigg| \bigg| {v}= \bigg| \bigg| A \bigg( \frac{1}{||x||{v }}x \bigg) \bigg| \bigg|_v \bigg) (∣∣x∣∣v∣∣Ax∣∣v= ∣∣x∣∣v1Ax v= A(∣∣x∣∣v1x) v)

称为由向量范数 ∣ ∣ ⋅ ∣ ∣ v { || \cdot ||_{ v}} ∣∣⋅∣∣v 所诱导的矩阵范数（从属范数）。
定理 C n {\mathbb C^{n} } Cn 上任意一向量范数 ∣ ∣ ⋅ ∣ ∣ v {|| \cdot ||_v} ∣∣⋅∣∣v 与他所诱导的矩阵范数 ∣ ∣ ⋅ ∣ ∣ m {|| \cdot ||_m} ∣∣⋅∣∣m 相容。

将向量范数 ∣ ∣ ⋅ ∣ ∣ 1 { || \cdot ||{1 }} ∣∣⋅∣∣1， ∣ ∣ ⋅ ∣ ∣ 2 { || \cdot ||{2 }} ∣∣⋅∣∣2， ∣ ∣ ⋅ ∣ ∣ ∞ { || \cdot ||{\infty }} ∣∣⋅∣∣∞ 诱导的矩阵范数分别记为 ∣ ∣ ⋅ ∣ ∣ 1 { || \cdot ||{1 }} ∣∣⋅∣∣1， ∣ ∣ ⋅ ∣ ∣ 2 { || \cdot ||{2 }} ∣∣⋅∣∣2， ∣ ∣ ⋅ ∣ ∣ ∞ { || \cdot ||{\infty }} ∣∣⋅∣∣∞ ，则有在同济大学《数值分析》或者一些数值分析速通网课里面提到的矩阵范数。
列范数

矩阵的1范数（列和范数）
∣ ∣ A ∣ ∣ 1 = max ⁡ 1 ≤ j ≤ n ∑ i = 1 n ∣ a i j ∣ ||A||1=\max{1\le j\le n} \sum_{i=1}^{ n}|a_{ij}| ∣∣A∣∣1=1≤j≤nmaxi=1∑n∣aij∣
为每列元素绝对值之和的最大的一个。
矩阵的2范数
∣ ∣ A ∣ ∣ 2 = ( A T A 的最大特征值 ) ||A||_2= \sqrt{(A^ \mathrm TA的最大特征值)} ∣∣A∣∣2=(ATA的最大特征值)
行范数
矩阵的 ∞ {\infty} ∞ 范数（行和范数）
∣ ∣ A ∣ ∣ ∞ = max ⁡ 1 ≤ i ≤ n ∑ j = 1 n ∣ a i j ∣ ||A||\infty=\max{1\le i\le n} \sum_{j=1}^{ n}|a_{ij}| ∣∣A∣∣∞=1≤i≤nmaxj=1∑n∣aij∣
为每行元素绝对值之和的最大的一个。
矩阵的 F {F} F 范数也是行范数。

相容关系如下：
∣ ∣ A x ∣ ∣ 1 ≤ ∣ ∣ A ∣ ∣ 1 ⋅ ∣ ∣ x ∣ ∣ 1 ∣ ∣ A x ∣ ∣ ∞ ≤ ∣ ∣ A ∣ ∣ ∞ ⋅ ∣ ∣ x ∣ ∣ ∞ ∣ ∣ A x ∣ ∣ 2 ≤ ∣ ∣ A ∣ ∣ 2 ⋅ ∣ ∣ x ∣ ∣ 2 ∣ ∣ A x ∣ ∣ 2 ≤ ∣ ∣ A ∣ ∣ F ⋅ ∣ ∣ x ∣ ∣ 2 \begin{align*} ||Ax||1\le& ||A||1 \cdot ||x||1\\ \\ ||Ax||\infty\le& ||A||\infty \cdot ||x||\infty\\ \\ ||Ax||_2\le& ||A||_2 \cdot ||x||_2\\ \\ ||Ax||_2\le& ||A||_F \cdot ||x||_2\\ \\ \end{align*} ∣∣Ax∣∣1≤∣∣Ax∣∣∞≤∣∣Ax∣∣2≤∣∣Ax∣∣2≤∣∣A∣∣1⋅∣∣x∣∣1∣∣A∣∣∞⋅∣∣x∣∣∞∣∣A∣∣2⋅∣∣x∣∣2∣∣A∣∣F⋅∣∣x∣∣2

9. 矩阵范数的酉不变性

设 A ∈ C n × n {A\in \mathbb C^{n \times n} } A∈Cn×n ，则

∣ ∣ A H ∣ ∣ F = ∣ ∣ A ∣ ∣ F {||A^ \mathrm H||F = || A ||{F }} ∣∣AH∣∣F=∣∣A∣∣F ， ∣ ∣ A H ∣ ∣ 2 = ∣ ∣ A ∣ ∣ 2 { || A^ \mathrm H ||{ 2} = || A ||{ 2}} ∣∣AH∣∣2=∣∣A∣∣2
酉不变性 对任意酉矩阵 U , V ∈ C n × n {U,V \in \mathbb C^{n \times n} } U,V∈Cn×n
∣ ∣ U A ∣ ∣ F = ∣ ∣ A V ∣ ∣ F = ∣ ∣ U A V ∣ ∣ F , ∣ ∣ U A ∣ ∣ 2 = ∣ ∣ A V ∣ ∣ 2 = ∣ ∣ U A V ∣ ∣ 2 || UA ||{ F}= || AV ||{ F} = || UAV ||{ F} \,\,,\,\, || UA ||{ 2}= || AV ||{ 2}= || UAV ||{ 2} ∣∣UA∣∣F=∣∣AV∣∣F=∣∣UAV∣∣F,∣∣UA∣∣2=∣∣AV∣∣2=∣∣UAV∣∣2
若 A {A} A 是正规矩阵，且 λ 1 , λ 2 , ⋅ , λ n { \lambda_1, \lambda_2, \cdot , \lambda_n} λ1,λ2,⋅,λn 是 A {A} A 的 n {n} n 个特征值，则
∣ ∣ A ∣ ∣ 2 = max ⁡ k ∣ λ k ∣ || A ||_{2 }= \max_k | \lambda_k | ∣∣A∣∣2=kmax∣λk∣
即如果 A {A} A 正规， A {A} A 的 2 {2} 2 范数是它最大特征值的绝对值（与谱半径相等）。

10. 矩阵范数的等价性

定理 C n × n {\mathbb C^{n \times n} } Cn×n 上所有矩阵范数等价。

11. 长方阵的范数

矩阵范数的相容性 ∀ A ∈ C m × n {\forall A\in \mathbb C^{m \times n}} ∀A∈Cm×n ， B ∈ C n × l {B\in \mathbb C^{n \times l}} B∈Cn×l
∣ ∣ A B ∣ ∣ ≤ ∣ ∣ A ∣ ∣ ⋅ ∣ ∣ B ∣ ∣ || AB ||{ }\le || A ||{ } \cdot || B ||{ } ∣∣AB∣∣≤∣∣A∣∣⋅∣∣B∣∣
矩阵范数与向量范数的相容性 ∀ A ∈ C m × n {\forall A\in \mathbb C^{m \times n}} ∀A∈Cm×n ， x ∈ C n {x\in \mathbb C^{n}} x∈Cn
∣ ∣ A x ∣ ∣ ≤ ∣ ∣ A ∣ ∣ ⋅ ∣ ∣ x ∣ ∣ || Ax ||{ }\le || A ||{ } \cdot || x ||{ } ∣∣Ax∣∣≤∣∣A∣∣⋅∣∣x∣∣
从属范数
∣ ∣ A ∣ ∣ = max ⁡ ∣ ∣ x ∣ ∣ v = 1 ∣ ∣ A x ∣ ∣ v = max ⁡ x ≠ 0 ∣ ∣ A x ∣ ∣ v ∣ ∣ x ∣ ∣ v , A ∈ C m × n || A ||{ }= \max{|| x ||{v }=1} || Ax ||{ v}=\max_{x\ne 0} \frac{|| Ax ||{ v}}{|| x ||{ v}} \,\,,\,\, A\in \mathbb C^{m \times n} ∣∣A∣∣=∣∣x∣∣v=1max∣∣Ax∣∣v=x=0max∣∣x∣∣v∣∣Ax∣∣v,A∈Cm×n

其中 ∣ ∣ A x ∣ ∣ v { || Ax ||{v }} ∣∣Ax∣∣v 是 C m { \mathbb C^m } Cm 上的范数， ∣ ∣ x ∣ ∣ v { || x ||{ v}} ∣∣x∣∣v 是 C n { \mathbb C^n} Cn 上的范数。

对任意 A ∈ C m × n {A\in \mathbb C^{m \times n} } A∈Cm×n ，常用的矩阵范数有：

长方阵的 m 1 {m_1} m1 范数
∣ ∣ A ∣ ∣ m 1 = ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ ||A||{m1}= \sum{i=1}^{ m}\sum_{j=1}^{ n}|a_{ij}| ∣∣A∣∣m1=i=1∑mj=1∑n∣aij∣
长方阵的 F {F} F 范数
∣ ∣ A ∣ ∣ F = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 = tr ( A H A ) ||A||F= (\sum{i=1}^{ m}\sum_{j=1}^{ n}|a_{ij}|^2)^{ \frac{1}{2}}= \sqrt{\text{tr}(A^{\mathrm H}A) } ∣∣A∣∣F=(i=1∑mj=1∑n∣aij∣2)21=tr(AHA)
为每个元素平方再求和最后开方。
长方阵的 M {M} M 范数或最大范数
∣ ∣ A ∣ ∣ M = max ⁡ { n , m } ⋅ max ⁡ 1 ≤ i , j ≤ n ∣ a i j ∣ ||A||{M}=\max \lbrace n,m \rbrace \cdot \max{1\le i,j\le n}|a_{ij}| ∣∣A∣∣M=max{n,m}⋅1≤i,j≤nmax∣aij∣
长方阵的 G {G} G 范数或几何平均范数
∣ ∣ A ∣ ∣ G = m n ⋅ max ⁡ i , j ∣ a i j ∣ || A ||{ G}= \sqrt{mn} \cdot \max{i,j}|a_{ij}| ∣∣A∣∣G=mn ⋅i,jmax∣aij∣
长方阵的 1 {1} 1 范数或列和范数
∣ ∣ A ∣ ∣ 1 = max ⁡ 1 ≤ j ≤ n ∑ i = 1 m ∣ a i j ∣ || A ||{ 1}=\max{1\le j\le n} \sum_{i=1}^{ m}|a_{ij}| ∣∣A∣∣1=1≤j≤nmaxi=1∑m∣aij∣
长方阵的 2 {2} 2 范数或谱范数
∣ ∣ A ∣ ∣ 2 = ( A T A 的最大特征值 ) || A ||_{ 2}= \sqrt{(A^ \mathrm TA的最大特征值)} ∣∣A∣∣2=(ATA的最大特征值)
长方阵的 ∞ {\infty} ∞ 范数或行和范数
∣ ∣ A ∣ ∣ ∞ = max ⁡ 1 ≤ i ≤ m ∑ j = 1 n ∣ a i j ∣ || A ||{\infty }= \max{1\le i\le m} \sum_{j=1}^{ n} |a_{ij}| ∣∣A∣∣∞=1≤i≤mmaxj=1∑n∣aij∣

部分性质：

F {F} F 范数， 2 {2} 2 范数，酉不变
m 1 {m_1} m1 范数与向量 1 {1} 1 范数相容
F {F} F 范数、 G {G} G 范数与向量 2 {2} 2 范数相容
M {M} M 范数与向量 1 {1} 1， 2 {2} 2， ∞ {\infty} ∞ 范数相容
矩阵 1 {1} 1， 2 {2} 2， ∞ {\infty} ∞ 范数分别由向量 1 {1} 1， 2 {2} 2， ∞ {\infty} ∞ 范数导出，从而相容
C m × n {\mathbb C^{m \times n} } Cm×n 上所有范数等价