[机器学习-从入门到入土] 拓展-范数

[机器学习-从入门到入土] 拓展-范数

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

文章目录

• [[机器学习-从入门到入土] 拓展-范数](#[机器学习-从入门到入土] 拓展-范数)
• 个人导航
• 范数
• • • • [L 0 L_0 L0范数 (严格来说不是范数)](#L 0 L_0 L0范数 (严格来说不是范数))
      • [L 1 L_1 L1范数](#L 1 L_1 L1范数)
      • [L 2 L_2 L2范数](#L 2 L_2 L2范数)
      • [L p L_p Lp范数](#L p L_p Lp范数)
      • 范数的等值线

范数

设向量
x = ( x 1 , x 2 , ... , x d ) ∈ R d x=(x_1,x_2,\dots,x_d)\in\mathbb{R}^d x=(x1,x2,...,xd)∈Rd

L 0 L_0 L0范数 (严格来说不是范数)

非零元素的个数:
∥ x ∥ 0 = # { i ∣ x i ≠ 0 } \|x\|_0 = \#\{i \mid x_i \neq 0\} ∥x∥0=#{i∣xi=0}

( 某个集合 ) \#(\text{某个集合}) #(某个集合): 表示集合中元素的个数

• 直接度量稀疏性 -> 理论上的"理想稀疏约束"
• 不关心数值大小，只关心"是不是 0"

优化性质:

• ❌ 非凸
• ❌ 非连续
• ❌ NP-hard（组合优化）

L 1 L_1 L1范数

稀疏性的凸替身
∥ x ∥ 1 = ∑ i = 1 d ∣ x i ∣ \|x\|1=\sum{i=1}^d |x_i| ∥x∥1=i=1∑d∣xi∣

优化性质:

• ✅ 凸
• ❌ 不光滑（0 点不可导）

典型用途:

• Lasso 回归

  min ⁡ w ∥ y − X w ∥ 2 2 + λ ∥ w ∥ 1 \min_w \|y-Xw\|_2^2+\lambda\|w\|_1 minw∥y−Xw∥22+λ∥w∥1

L 2 L_2 L2范数

能量与稳定性
∥ x ∥ 2 = ( ∑ i = 1 d x i 2 ) 1 / 2 \|x\|2=\left(\sum{i=1}^d x_i^2\right)^{1/2} ∥x∥2=(i=1∑dxi2)1/2

优化性质:

• ✅ 凸
• ✅ 光滑
• ✅ 强凸（数值稳定）

典型用途:

• Ridge 回归 (岭回归)

  min ⁡ w ∥ y − X w ∥ 2 2 + λ ∥ w ∥ 2 2 w \min_w \|y-Xw\|_2^2+\lambda\|w\|_2^2w minw∥y−Xw∥22+λ∥w∥22w

L p L_p Lp范数

∥ x ∥ p = ( ∑ i = 1 d ∣ x i ∣ p ) 1 / p , p ≥ 1 \|x\|p = \left(\sum{i=1}^d |x_i|^p\right)^{1/p},\quad p\ge 1 ∥x∥p=(i=1∑d∣xi∣p)1/p,p≥1

• p p p 越小 → 越稀疏，但越难优化
• p p p 越大 → 越平滑，但越不稀疏

严格意义上，只有 p ≥ 1 p\ge 1 p≥1 时才是"范数"

p	几何形状	性质
p = 1 p=1 p=1	菱形	强稀疏
1 < p < 2 1<p<2 1<p<2	圆角菱形	稀疏 + 稳定
p = 2 p=2 p=2	圆	平滑、稳定
p → ∞ p\to\infty p→∞	正方形	控制最大分量

极限情形:

• p → 0 p\to 0 p→0：趋近 L 0 L_0 L0
• p → ∞ p\to\infty p→∞： ∥ x ∥ ∞ = max ⁡ i ∣ x i ∣ \|x\|_\infty=\max_i |x_i| ∥x∥∞=maxi∣xi∣

范数	是否凸	是否光滑	是否产生稀疏	典型角色
L 0 L_0 L0	❌	❌	⭐⭐⭐⭐⭐	理想目标
L 1 L_1 L1	✅	❌	⭐⭐⭐⭐	稀疏替代
L 2 L_2 L2	✅	✅	⭐	稳定正则
L n L_n Ln	n > 1 n>1 n>1 ✅	n > 1 n>1 n>1 ✅	递减	折中方案

范数的等值线

在二维情况下: x = ( x 1 , x 2 ) ∈ R 2 x=(x_1,x_2)\in\mathbb{R}^2 x=(x1,x2)∈R2

范数的等值线:

• ∥ x ∥ p = 1 \|x\|_p = 1 ∥x∥p=1：一条曲线
• ∥ x ∥ p ≤ 1 \|x\|_p \le 1 ∥x∥p≤1：这条曲线围成的区域

各范数的情况:

• L 0 L_0 L0: x轴与y轴
  (当y有值时x=0, 当x有值时y=0)
• L 1 L_1 L1: 菱形
  (顶点是 ( − 1 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 0 , − 1 ) (-1,0),(1,0),(0,1),(0,-1) (−1,0),(1,0),(0,1),(0,−1))
• L 2 L_2 L2: 圆
  (经过 ( − 1 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 0 , − 1 ) (-1,0),(1,0),(0,1),(0,-1) (−1,0),(1,0),(0,1),(0,−1))