一、向量
- L0范数：向量中非零元素的个数，也称为0范数
- L1范数：为绝对值之和，也称为范数或者1范数
- L2范数：通常意义上的模，也称为2范数
- p范数：即向量元素绝对值的 p p p次方和的 1 / p 1/p 1/p次幂
- ∞ \infty ∞范数：取向量的最大值
- − ∞ -\infty −∞范数：取向量的最小值
假设有向量 x = ( x 1 , x 2 , ... , x n ) T x = (x_1,x_2,\dots,x_n)^T x=(x1,x2,...,xn)T，向量的范数有：
∣ ∣ x ∣ ∣ 1 = ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ ||x||_1 = |x_1| + |x_2| + \dots + |x_n| ∣∣x∣∣1=∣x1∣+∣x2∣+⋯+∣xn∣
∣ ∣ x ∣ ∣ 2 = ( ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ ) 1 2 ||x||_2 = (|x_1| + |x_2| + \dots + |x_n|)^{\frac{1}{2}} ∣∣x∣∣2=(∣x1∣+∣x2∣+⋯+∣xn∣)21
∣ ∣ x ∣ ∣ p = ( ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ ) 1 p ||x||_p = (|x_1| + |x_2| + \dots + |x_n|)^{\frac{1}{p}} ∣∣x∣∣p=(∣x1∣+∣x2∣+⋯+∣xn∣)p1
∣ ∣ x ∣ ∣ ∞ = max { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{\infty} = \max\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x∣∣∞=max{∣x1∣+∣x2∣+⋯+∣xn∣}
∣ ∣ x ∣ ∣ − ∞ = min { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{-\infty} = \min\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x∣∣−∞=min{∣x1∣+∣x2∣+⋯+∣xn∣}
二、矩阵
矩阵范数主要有以下三类，切记，三类范数不一样！！
2.1、诱导范数
又称为算子范数，定义矩阵A位于矩阵空间 R m × n \mathbb{R}^{m\times n} Rm×n 上
∣ ∣ x ∣ ∣ = max { ∣ ∣ A x ∣ ∣ ; x ∈ R n , ∣ ∣ x ∣ ∣ = 1 } = m a x { ∣ ∣ A x ∣ ∣ ∣ ∣ x ∣ ∣ , x ∈ R n , x ≠ 0 } ||x||= \max\{||Ax||;x\in \mathbb{R}^n,||x||=1 \} = max\left\{ \frac{||Ax||}{||x||}, x\in \mathbb{R}^n,x\ne 0 \right\} ∣∣x∣∣=max{∣∣Ax∣∣;x∈Rn,∣∣x∣∣=1}=max{∣∣x∣∣∣∣Ax∣∣,x∈Rn,x=0}
常用诱导范数为p范数，也称为 L p L_p Lp 范数
∣ ∣ A ∣ ∣ p = m a x { ∣ ∣ A x ∣ ∣ p ∣ ∣ x ∣ ∣ p , x ≠ 0 } ||A||_p = max\left\{ \frac{||Ax||_p}{||x||_p} ,x\ne 0 \right\} ∣∣A∣∣p=max{∣∣x∣∣p∣∣Ax∣∣p,x=0}
0范数：矩阵中非零元素的个数。
1范数又称为列范数
∣ ∣ A ∣ ∣ 1 = max ∑ i = 1 m ∣ a i j ∣ , 1 ≤ j ≤ n ||A||1 = \max \sum{i=1}^m |a_{ij}|,1 \le j \le n ∣∣A∣∣1=maxi=1∑m∣aij∣,1≤j≤n
无穷范数又称为行范数
∣ ∣ A ∣ ∣ ∞ = max ∑ j = 1 n ∣ a i j ∣ , 1 ≤ i ≤ n ||A||\infty = \max \sum{j=1}^n |a_{ij}|,1 \le i \le n ∣∣A∣∣∞=maxj=1∑n∣aij∣,1≤i≤n
2范数又称为谱范数，矩阵的谱范数为矩阵的最大奇异值
∣ ∣ A ∣ ∣ s p e c = ∣ ∣ A ∣ ∣ 2 = σ m a x ( A ) = λ m a x ( A T A ) ||A||{spec} = ||A||{2} = \sigma_{max}(A) = \sqrt{\lambda_{max}(A^TA)} ∣∣A∣∣spec=∣∣A∣∣2=σmax(A)=λmax(ATA)
σ m a x \sigma_{max} σmax 表示求矩阵的最大奇异值，spec是谱的意思
2.2、元素范数
将 m × n m \times n m×n 矩阵先按照列堆栈的形式，排列成一个 m n × 1 mn \times 1 mn×1 向量，然后采用向量的范数定义，即得到矩阵的范数
∣ ∣ A ∣ ∣ P = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ p ) 1 p ||A||P = \left( \sum{i=1}^m\sum_{j=1}^n |a_{ij}|^p \right)^\frac{1}{p} ∣∣A∣∣P=(i=1∑mj=1∑n∣aij∣p)p1
1范数又称为和范数或者L1范数
∣ ∣ A ∣ ∣ 1 = ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ ||A||1 = \sum{i=1}^m\sum_{j=1}^n |a_{ij}| ∣∣A∣∣1=i=1∑mj=1∑n∣aij∣
2范数又称为Forbenius范数
∣ ∣ A ∣ ∣ F = ∣ ∣ A ∣ ∣ 2 = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 = t r ( A H A ) ||A||F = ||A||2 = \left( \sum{i=1}^m\sum{j=1}^n |a_{ij}|^2 \right)^\frac{1}{2} = \sqrt{tr({A^HA})} ∣∣A∣∣F=∣∣A∣∣2=(i=1∑mj=1∑n∣aij∣2)21=tr(AHA)
∞ \infty ∞ 范数又称为最大范数
∣ ∣ A ∣ ∣ p = max { ∣ a i j ∣ } ||A||p = \max\{ |a{ij}| \} ∣∣A∣∣p=max{∣aij∣}
2.3、Schatten范数
用矩阵的奇异值定义的范数，令矩阵的奇异值组成一个向量 σ = [ σ 1 σ 2 ... σ k ] \sigma = \begin{bmatrix} \sigma_1 & \sigma_2 & \dots & \sigma_k \end{bmatrix} σ=[σ1σ2...σk] , k = min ( m , n ) k=\min(m,n) k=min(m,n)
p范数定义如下
∣ ∣ A ∣ ∣ p = ∣ ∣ σ ∣ ∣ p = ( ∑ i = 1 k σ i p ) 1 p ||A||_p = ||\sigma||p = (\sum{i=1}^k \sigma_i^{p})^\frac{1}{p} ∣∣A∣∣p=∣∣σ∣∣p=(i=1∑kσip)p1
p=1，也称为核范数，为矩阵奇异值之和
∣ ∣ A ∣ ∣ 1 = ∑ i = 1 k σ i = t r ( A H A ) ||A||1 =\sum{i=1}^k \sigma_i = tr(\sqrt{A^HA}) ∣∣A∣∣1=i=1∑kσi=tr(AHA )
p=2，Schattern范数与Frobenius等价
∣ ∣ A ∣ ∣ 1 = ( ∑ i = 1 k σ i 2 ) 1 2 = t r ( A H A ) = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 ||A||1 =(\sum{i=1}^k \sigma_i^{2})^\frac{1}{2} = \sqrt{tr(A^HA)} = \left(\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2 \right)^\frac{1}{2} ∣∣A∣∣1=(i=1∑kσi2)21=tr(AHA) =(i=1∑mj=1∑n∣aij∣2)21
p= ∞ \infty ∞，Schattern范数与谱范数相同
∣ ∣ A ∣ ∣ ∞ = σ m a x ( A ) ||A||\infty = \sigma{max}(A) ∣∣A∣∣∞=σmax(A)