向量与矩阵范数的详细解读

一、向量

  • L0范数:向量中非零元素的个数,也称为0范数
  • L1范数:为绝对值之和,也称为范数或者1范数
  • L2范数:通常意义上的模,也称为2范数
  • p范数:即向量元素绝对值的 p p p次方和的 1 / p 1/p 1/p次幂
  • ∞ \infty ∞范数:取向量的最大值
  • − ∞ -\infty −∞范数:取向量的最小值

假设有向量 x = ( x 1 , x 2 , ... , x n ) T x = (x_1,x_2,\dots,x_n)^T x=(x1,x2,...,xn)T,向量的范数有:
∣ ∣ x ∣ ∣ 1 = ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ ||x||_1 = |x_1| + |x_2| + \dots + |x_n| ∣∣x∣∣1=∣x1∣+∣x2∣+⋯+∣xn∣

∣ ∣ x ∣ ∣ 2 = ( ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ ) 1 2 ||x||_2 = (|x_1| + |x_2| + \dots + |x_n|)^{\frac{1}{2}} ∣∣x∣∣2=(∣x1∣+∣x2∣+⋯+∣xn∣)21

∣ ∣ x ∣ ∣ p = ( ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ ) 1 p ||x||_p = (|x_1| + |x_2| + \dots + |x_n|)^{\frac{1}{p}} ∣∣x∣∣p=(∣x1∣+∣x2∣+⋯+∣xn∣)p1

∣ ∣ x ∣ ∣ ∞ = max ⁡ { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{\infty} = \max\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x∣∣∞=max{∣x1∣+∣x2∣+⋯+∣xn∣}

∣ ∣ x ∣ ∣ − ∞ = min ⁡ { ∣ x 1 ∣ + ∣ x 2 ∣ + ⋯ + ∣ x n ∣ } ||x||_{-\infty} = \min\{|x_1| + |x_2| + \dots + |x_n|\} ∣∣x∣∣−∞=min{∣x1∣+∣x2∣+⋯+∣xn∣}

二、矩阵

矩阵范数主要有以下三类,切记,三类范数不一样!!

2.1、诱导范数

又称为算子范数,定义矩阵A位于矩阵空间 R m × n \mathbb{R}^{m\times n} Rm×n 上
∣ ∣ x ∣ ∣ = max ⁡ { ∣ ∣ A x ∣ ∣ ; x ∈ R n , ∣ ∣ x ∣ ∣ = 1 } = m a x { ∣ ∣ A x ∣ ∣ ∣ ∣ x ∣ ∣ , x ∈ R n , x ≠ 0 } ||x||= \max\{||Ax||;x\in \mathbb{R}^n,||x||=1 \} = max\left\{ \frac{||Ax||}{||x||}, x\in \mathbb{R}^n,x\ne 0 \right\} ∣∣x∣∣=max{∣∣Ax∣∣;x∈Rn,∣∣x∣∣=1}=max{∣∣x∣∣∣∣Ax∣∣,x∈Rn,x=0}

常用诱导范数为p范数,也称为 L p L_p Lp 范数
∣ ∣ A ∣ ∣ p = m a x { ∣ ∣ A x ∣ ∣ p ∣ ∣ x ∣ ∣ p , x ≠ 0 } ||A||_p = max\left\{ \frac{||Ax||_p}{||x||_p} ,x\ne 0 \right\} ∣∣A∣∣p=max{∣∣x∣∣p∣∣Ax∣∣p,x=0}

0范数:矩阵中非零元素的个数。

1范数又称为列范数
∣ ∣ A ∣ ∣ 1 = max ⁡ ∑ i = 1 m ∣ a i j ∣ , 1 ≤ j ≤ n ||A||1 = \max \sum{i=1}^m |a_{ij}|,1 \le j \le n ∣∣A∣∣1=maxi=1∑m∣aij∣,1≤j≤n

无穷范数又称为行范数
∣ ∣ A ∣ ∣ ∞ = max ⁡ ∑ j = 1 n ∣ a i j ∣ , 1 ≤ i ≤ n ||A||\infty = \max \sum{j=1}^n |a_{ij}|,1 \le i \le n ∣∣A∣∣∞=maxj=1∑n∣aij∣,1≤i≤n

2范数又称为谱范数,矩阵的谱范数为矩阵的最大奇异值
∣ ∣ A ∣ ∣ s p e c = ∣ ∣ A ∣ ∣ 2 = σ m a x ( A ) = λ m a x ( A T A ) ||A||{spec} = ||A||{2} = \sigma_{max}(A) = \sqrt{\lambda_{max}(A^TA)} ∣∣A∣∣spec=∣∣A∣∣2=σmax(A)=λmax(ATA)
σ m a x \sigma_{max} σmax 表示求矩阵的最大奇异值,spec是谱的意思

2.2、元素范数

将 m × n m \times n m×n 矩阵先按照列堆栈的形式,排列成一个 m n × 1 mn \times 1 mn×1 向量,然后采用向量的范数定义,即得到矩阵的范数
∣ ∣ A ∣ ∣ P = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ p ) 1 p ||A||P = \left( \sum{i=1}^m\sum_{j=1}^n |a_{ij}|^p \right)^\frac{1}{p} ∣∣A∣∣P=(i=1∑mj=1∑n∣aij∣p)p1

1范数又称为和范数或者L1范数
∣ ∣ A ∣ ∣ 1 = ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ ||A||1 = \sum{i=1}^m\sum_{j=1}^n |a_{ij}| ∣∣A∣∣1=i=1∑mj=1∑n∣aij∣

2范数又称为Forbenius范数
∣ ∣ A ∣ ∣ F = ∣ ∣ A ∣ ∣ 2 = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 = t r ( A H A ) ||A||F = ||A||2 = \left( \sum{i=1}^m\sum{j=1}^n |a_{ij}|^2 \right)^\frac{1}{2} = \sqrt{tr({A^HA})} ∣∣A∣∣F=∣∣A∣∣2=(i=1∑mj=1∑n∣aij∣2)21=tr(AHA)
∞ \infty ∞ 范数又称为最大范数
∣ ∣ A ∣ ∣ p = max ⁡ { ∣ a i j ∣ } ||A||p = \max\{ |a{ij}| \} ∣∣A∣∣p=max{∣aij∣}

2.3、Schatten范数

用矩阵的奇异值定义的范数,令矩阵的奇异值组成一个向量 σ = σ 1 σ 2 ... σ k \sigma = \begin{bmatrix} \sigma_1 & \sigma_2 & \dots & \sigma_k \end{bmatrix} σ=σ1σ2...σk , k = min ⁡ ( m , n ) k=\min(m,n) k=min(m,n)

p范数定义如下
∣ ∣ A ∣ ∣ p = ∣ ∣ σ ∣ ∣ p = ( ∑ i = 1 k σ i p ) 1 p ||A||_p = ||\sigma||p = (\sum{i=1}^k \sigma_i^{p})^\frac{1}{p} ∣∣A∣∣p=∣∣σ∣∣p=(i=1∑kσip)p1

p=1,也称为核范数,为矩阵奇异值之和
∣ ∣ A ∣ ∣ 1 = ∑ i = 1 k σ i = t r ( A H A ) ||A||1 =\sum{i=1}^k \sigma_i = tr(\sqrt{A^HA}) ∣∣A∣∣1=i=1∑kσi=tr(AHA )

p=2,Schattern范数与Frobenius等价

∣ ∣ A ∣ ∣ 1 = ( ∑ i = 1 k σ i 2 ) 1 2 = t r ( A H A ) = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 ||A||1 =(\sum{i=1}^k \sigma_i^{2})^\frac{1}{2} = \sqrt{tr(A^HA)} = \left(\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2 \right)^\frac{1}{2} ∣∣A∣∣1=(i=1∑kσi2)21=tr(AHA) =(i=1∑mj=1∑n∣aij∣2)21

p= ∞ \infty ∞,Schattern范数与谱范数相同

∣ ∣ A ∣ ∣ ∞ = σ m a x ( A ) ||A||\infty = \sigma{max}(A) ∣∣A∣∣∞=σmax(A)

相关推荐
lisw055 天前
Dayhoff的PAM替换矩阵理论评介!
线性代数·算法·矩阵
DFT计算杂谈6 天前
可DIY布里渊区图像绘制编辑器
人工智能·机器学习·语言模型·矩阵·编辑器
Pniubi6 天前
力扣54.螺旋矩阵
算法·leetcode·矩阵
Pniubi6 天前
力扣73 矩阵置零
算法·leetcode·矩阵
kingx37 天前
Bugku 逆向 MatrixHunter:黑盒 oracle + GF(2) 消元出唯一解
网络安全·矩阵·逆向·ctf
莱茶荼菜11 天前
【slam公式】
人工智能·线性代数·机器学习
吴名氏.11 天前
Java转AI Agent教程(第九周)错误矩阵
java·人工智能·矩阵·ai agent
伯奥克客服12 天前
2026年视频矩阵厂家技术评估:从EDID到控制协议开放度的六维筛选法
线性代数·矩阵·音视频
释厄62313 天前
三角基底律——矩阵3x6 是所有三角形的基底·3D中高就是边
线性代数·3d·矩阵