无题
-
-
- [一、L1 正则化的特性:稀疏性](#一、L1 正则化的特性:稀疏性)
-
- 为什么它有稀疏性:
- 根本听不懂上面解释,还得举个例子:
- [从几何上看,一定会选到 0?](#从几何上看,一定会选到 0?)
- 解释
- 开始看不懂解释
- [二、L1 正则化:次梯度](#二、L1 正则化:次梯度)
- [三、L2 正则化的特性:权重衰减](#三、L2 正则化的特性:权重衰减)
- 三、总结
-
-
L1 Loss (MAE):抗异常值,产生稀疏解(特征选择),但 0 点不可导。
-
L2 Loss (MSE):对异常值敏感,处处可导好优化,倾向于让权重变小但非零。
-
L1 正则化 = 权重绝对值之和(做特征选择)。
-
L2 正则化 = 权重平方和(做权重衰减,防过拟合)。
一、L1 正则化的特性:稀疏性
为什么它有稀疏性:
因为 L1 的几何形状(菱形)和次梯度(在 0 点包含 0)特性,会迫使那些对结果影响不大的特征权重 ( w i (w_i (wi) 直接变成绝对的 0。这就叫"稀疏"。
让参数变成 0,起到特征选择的作用。
根本听不懂上面解释,还得举个例子:
假设你是一个老板,你发现员工的得分(总分 S S S)符合以下公式:
S = 2 ⋅ w 1 + 1 ⋅ w 2 S = 2 \cdot w_1 + 1 \cdot w_2 S=2⋅w1+1⋅w2
(解释:工作量每增加1,得分加2;拍马屁每增加1,得分加1。工作量更重要。)
你的目标是让得分 S S S 越高越好(比如达到 10 分)。
情况一:没有限制条件(没有正则化)
为了让 S S S 达到 10,你可以:
- w 1 = 5 , w 2 = 0 w_1 = 5, w_2 = 0 w1=5,w2=0 (得分 10)
- w 1 = 3 , w 2 = 4 w_1 = 3, w_2 = 4 w1=3,w2=4 (得分 10)
- w 1 = 0 , w 2 = 10 w_1 = 0, w_2 = 10 w1=0,w2=10 (得分 10)
由于没有任何限制,满足得分 10 的解有无数个。系统通常不会选择某一个是 0 的解(除非碰巧),而是根据初始值随机选一个。
情况二:加了 L1 正则化限制
你作为老板,定了一个规矩(预算限制):
∣ w 1 ∣ + ∣ w 2 ∣ ≤ 4 |w_1| + |w_2| \le 4 ∣w1∣+∣w2∣≤4
(即:两项指标的总权重加起来不能超过 4,这就是 L1 约束)
现在,我们在这个 w 1 + w 2 ≤ 4 w_1 + w_2 \le 4 w1+w2≤4 的限制下,尽量让 S = 2 w 1 + w 2 S = 2w_1 + w_2 S=2w1+w2 最大化:
- 方案 A(不变成0,五五开) : w 1 = 2 , w 2 = 2 w_1 = 2, w_2 = 2 w1=2,w2=2(满足 2 + 2 = 4 2 + 2 = 4 2+2=4)。得分: 2 × 2 + 2 = 6 2 \times 2 + 2 = 6 2×2+2=6 分。
- 方案 B(变成0,集中火力) : w 1 = 4 , w 2 = 0 w_1 = 4, w_2 = 0 w1=4,w2=0(满足 4 + 0 = 4 4 + 0 = 4 4+0=4)。得分: 2 × 4 + 0 = 8 2 \times 4 + 0 = 8 2×4+0=8 分。
- 方案 C(反向集中) : w 1 = 0 , w 2 = 4 w_1 = 0, w_2 = 4 w1=0,w2=4。得分: 0 + 4 = 4 0 + 4 = 4 0+4=4 分。
结论:
在这个规则下,系统发现方案 B 能拿到最高分 8 分!所以,系统会毫不犹豫地把 w 2 w_2 w2 设为 0,把所有的预算都砸在 w 1 w_1 w1 上。这就是为什么 L1 会产生稀疏性(权重变成0)。
从几何上看,一定会选到 0?
解释
因为 ∣ w 1 ∣ + ∣ w 2 ∣ ≤ 4 |w_1| + |w_2| \le 4 ∣w1∣+∣w2∣≤4 在坐标轴上面出来就是一个菱形(四个顶点是 (4,0), (0,4), (-4,0), (0,-4))。
代表得分 S S S 的等高线是一系列平行的直线( 2 w 1 + w 2 = S 2w_1 + w_2 = S 2w1+w2=S)。
你要找的最高得分,就是这条直线尽可能地往外平移,直到刚好碰到菱形边缘。
由于菱形有尖角(在坐标轴上),直线往往最先顶到的是尖角 (比如 w 1 = 4 , w 2 = 0 w_1 = 4, w_2 = 0 w1=4,w2=0),而不是平边(比如 w 1 = 2 , w 2 = 2 w_1 = 2, w_2 = 2 w1=2,w2=2 的位置)。
开始看不懂解释
1. 什么是"等高线"?
在二维平面(横轴是 w 1 w_1 w1,纵轴是 w 2 w_2 w2)上,要让 S = 2 w 1 + w 2 S = 2w_1 + w_2 S=2w1+w2 保持不变, ( w 1 , w 2 ) (w_1, w_2) (w1,w2) 的取值就会连成一条直线。
比如:
- 当 S = 2 S = 2 S=2 时,直线经过 ( 1 , 0 ) (1, 0) (1,0) 和 ( 0 , 2 ) (0, 2) (0,2)。
- 当 S = 4 S = 4 S=4 时,直线经过 ( 2 , 0 ) (2, 0) (2,0) 和 ( 0 , 4 ) (0, 4) (0,4)。
这些平行的线就是"等高线",线上任何一点的得分都是一样的。
2. 为什么要"往外平移"?
因为我们在求最大值。
原点 ( 0 , 0 ) (0, 0) (0,0) 的得分是 0 0 0( S = 0 S = 0 S=0)。顺着这条直线往右上方(也就是"往外")平移,截距变大,得分 S S S 就越来越大。
我们的目标是在不超出菱形( ∣ w 1 ∣ + ∣ w 2 ∣ ≤ 4 |w_1| + |w_2| \le 4 ∣w1∣+∣w2∣≤4)的前提下,把这条直线推得越远越好(得分越高)。
当你把直线往外推时,它最终会"卡"在菱形的边界上。
- 如果你推线的方向是斜着 45 ∘ 45^\circ 45∘,线可能会卡在菱形平直的边上(此时 w 1 = 2 , w 2 = 2 w_1 = 2, w_2 = 2 w1=2,w2=2)。
- 如果你的得分函数偏向 w 1 w_1 w1(就像 S = 2 w 1 + w 2 S = 2w_1 + w_2 S=2w1+w2),这条线比较陡,推出去的时候会最先撞到菱形的右上角顶点 ( 4 , 0 ) (4, 0) (4,0)。卡在这个顶点时, w 2 = 0 w_2 = 0 w2=0,这就是稀疏!
怎么画出这条线?
数学上最简单的方法就是"找截距"(让其中一个变量为 0):
- 让 w 2 = 0 w_2 = 0 w2=0,得出 2 w 1 = 4 2w_1 = 4 2w1=4,所以 w 1 = 2 w_1 = 2 w1=2。我们得到一个点: ( 2 , 0 ) (2, 0) (2,0)。
- 让 w 1 = 0 w_1 = 0 w1=0,得出 w 2 = 4 w_2 = 4 w2=4。我们又得到一个点: ( 0 , 4 ) (0, 4) (0,4)。
把这两个点连起来,就是 S = 4 S = 4 S=4 时的唯一一条直线。线上的任何一个点(比如 ( 1 , 2 ) (1, 2) (1,2), ( 1.5 , 1 ) (1.5, 1) (1.5,1))代入 2 w 1 + w 2 2w_1 + w_2 2w1+w2 都等于 4。
** 为什么说这条线"陡"?**
"陡"是在比较两个系数。我们对比一下两种得分公式:
- 公式 A(不偏心) : S = w 1 + w 2 S = w_1 + w_2 S=w1+w2。系数都是 1。画出来经过 ( 1 , 0 ) (1, 0) (1,0) 和 ( 0 , 1 ) (0, 1) (0,1),这是一个 45 ∘ 45^\circ 45∘ 角(斜率是 -1)。
- 公式 B(偏心 w 1 w_1 w1) : S = 2 w 1 + w 2 S = 2w_1 + w_2 S=2w1+w2。 w 1 w_1 w1 的系数是 2,比 w 2 w_2 w2 大。这意味着 w 1 w_1 w1 对得分的贡献更大。
画出来经过 ( 2 , 0 ) (2, 0) (2,0) 和 ( 0 , 4 ) (0, 4) (0,4)。你算算斜率: 4 − 0 0 − 2 = − 2 \frac{4 - 0}{0 - 2} = -2 0−24−0=−2。
斜率绝对值从 1 变成了 2,所以它比 45 ∘ 45^\circ 45∘ 更倾斜,看起来更"陡"。
一图胜千言

二、L1 正则化:次梯度
举个例子说明:
如果函数长这样:
- w > 3 w > 3 w>3 时,斜率是 2
- w < 3 w < 3 w<3 时,斜率是 -1
- w = 3 w = 3 w=3 是尖点
那么, w = 3 w = 3 w=3 这个尖点的次梯度集合,就是闭区间 − 1 , 2 -1, 2 −1,2。
为什么是 − 1 , 2 -1, 2 −1,2?
次梯度的几何定义是:在尖点处,所有能把函数"托住"的直线的斜率(也就是所有合法的"斜率")。
想象你在 w = 3 w = 3 w=3 这个尖点,左半边斜坡的斜率是 -1,右半边斜坡的斜率是 2。
- 任何斜率小于 -1 的直线,都会"插进"V 字形里面,托不住;
- 任何斜率大于 2 的直线,也会"飘"在 V 字形外面,碰不到底;
- 只有斜率介于 -1 到 2 之间(包含 -1 和 2)的直线,刚好能从下面稳稳托住这个尖角。
所以,在 w = 3 w = 3 w=3 时,次梯度 g ∈ − 1 , 2 g \in -1, 2 g∈−1,2。
这意味着,系统在 w = 3 w = 3 w=3 这个点,有权 从 − 1 , 2 -1, 2 −1,2 里面挑任何一个数作为"梯度"。
这有什么用?(回到机器学习的更新公式)
更新公式是: w 新 = w 旧 − 学习率 × 梯度 w_{新} = w_{旧} - 学习率 \times 梯度 w新=w旧−学习率×梯度。
假设我们在 w = 3 w = 3 w=3 这个尖点:
-
如果其他部分的拉力(比如损失函数的梯度)是 1.5:
因为 1.5 ∈ − 1 , 2 1.5 \in -1, 2 1.5∈−1,2,系统就可以在次梯度里挑一个 -1.5 来抵消这个力。
那么更新: w 新 = 3 − ( − 1.5 ) = 4.5 w_{新} = 3 - (-1.5) = 4.5 w新=3−(−1.5)=4.5?等等,不对,应该抵消力:
如果目标函数要往右推(正梯度1.5),惩罚项的次梯度选 -1.5(往左推),两者相加为 0,权重就死死卡在 3 这个点不动了。
-
如果其他部分的拉力是 3(大于 2):
因为 3 ∉ − 1 , 2 3 \notin -1, 2 3∈/−1,2,系统在尖点找不到能完全抵消它的次梯度(最大的反抗力是 2),所以 w w w 会被拉走,离开 3。一旦离开 3(比如变成 3.1),斜率立刻变成 2,普通梯度就生效了。
回到 L1 的核心:为什么 L1 能让权重变成 0?
在 L1 的绝对值和 w = 0 w = 0 w=0 点:
- w > 0 w > 0 w>0 斜率 = 1
- w < 0 w < 0 w<0 斜率 = -1
- 所以 w = 0 w = 0 w=0 的次梯度集合是 − 1 , 1 -1, 1 −1,1。
当其他部分的拉力(梯度)绝对值小于等于 1 时 ,系统在 0 点就能找到一个次梯度(包括 0 本身)完美抵消它 ,所以权重死死卡在 0,因为没有足够的拉力,死死卡在0这就是稀疏性。
一图胜千言

三、L2 正则化的特性:权重衰减
还是用L1 正则化的例子
假设你是一个老板,你发现员工的得分(总分 S S S)符合以下公式:
S = 2 ⋅ w 1 + 1 ⋅ w 2 S = 2 \cdot w_1 + 1 \cdot w_2 S=2⋅w1+1⋅w2
(解释:工作量每增加1,得分加2;拍马屁每增加1,得分加1。工作量更重要。)
你的目标是让得分 S S S 越高越好(比如达到 10 分)。
情况一:没有限制条件(没有正则化)
为了让 S S S 达到 10,你可以:
- w 1 = 5 , w 2 = 0 w_1 = 5, w_2 = 0 w1=5,w2=0 (得分 10)
- w 1 = 3 , w 2 = 4 w_1 = 3, w_2 = 4 w1=3,w2=4 (得分 10)
- w 1 = 0 , w 2 = 10 w_1 = 0, w_2 = 10 w1=0,w2=10 (得分 10)
由于没有任何限制,满足得分 10 的解有无数个。系统通常不会选择某一个是 0 的解(除非碰巧),而是根据初始值随机选一个。
情况二:加了 L2 正则化限制
你作为老板,定了一个规矩(预算限制):
∣ w 2 ∣ + ∣ w 2 ∣ ≤ 16 |w^2| + |w^2| \le 16 ∣w2∣+∣w2∣≤16
结论:
- 原始值 :没有约束时,要让 ( S = 10 (S = 10 (S=10),系统可能把权重设定为 ( w 1 = 5 (w_1 = 5 (w1=5)。
- 权重衰减 :加上 L2 约束后, ( w 1 (w_1 (w1) 不能到 5 了,只能缩小到 3.58 ,而 ( w 2 (w_2 (w2) 变成了 1.79。原本更大的权重被硬生生拉小,这就是 weight decay。
- 为什么不变 0:因为切点在斜边上(两个数都有贡献),而不是像 L1 那样在坐标轴上。
一图胜千言

三、总结
留下没有高数知识的眼泪,就这几个知识点都搞我半天。