第六章：Linear Regression (2) --- Regularized Least Squares --- 知识点笔记
综合来源：Lecture 06 PDF（40页）、课堂笔记（CSDN）
占位图
6.1 正则化概述 ⭐
过拟合回顾
- 模型太复杂→过拟合→需要正则化
- 正则化 = 在学习过程中添加约束或惩罚→改善泛化
正则化框架
w∗=argminwED(w)+λ⋅Ew(w)\mathbf{w}^* = \arg\min_w \left\\mathbf{E}_{\\mathcal{D}}(w) + \\lambda \\cdot \\mathbf{E}_{\\mathbf{w}}(w)\\rightw∗=argwminED(w)+λ⋅Ew(w)
| 项 | 含义 |
|---|---|
| ED(w)\mathbf{E}_{\mathcal{D}}(w)ED(w) | 数据依赖的误差（如平方和误差） |
| Ew(w)\mathbf{E}_{\mathbf{w}}(w)Ew(w) | 正则化项（Regularizer），限制参数大小 |
| λ\lambdaλ | 正则化超参数，控制惩罚强度 |
拉格朗日松弛
- 原约束：minED(w)\min \mathbf{E}_{\mathcal{D}}(w)minED(w) s.t. Reg(w)≤C\text{Reg}(w) \leq CReg(w)≤C
- 松弛后：E(w)=ED(w)+λ⋅Reg(w)\mathbf{E}(w) = \mathbf{E}_{\mathcal{D}}(w) + \lambda \cdot \text{Reg}(w)E(w)=ED(w)+λ⋅Reg(w)
- 约束→惩罚项（拉格朗日乘子法思想）
6.2 范数（Norms）
范数三性质
- 正定性 ：∥v∥≥0\|v\| \geq 0∥v∥≥0，∥v∥=0 ⟺ v=0\|v\|=0 \iff v=0∥v∥=0⟺v=0
- 正齐次性 ：∥αv∥=∣α∣⋅∥v∥\|\alpha v\| = |\alpha| \cdot \|v\|∥αv∥=∣α∣⋅∥v∥
- 三角不等式 ：∥u+v∥≤∥u∥+∥v∥\|u+v\| \leq \|u\| + \|v\|∥u+v∥≤∥u∥+∥v∥
常见范数
| 范数 | 公式 | 几何形状 | 特点 |
|---|---|---|---|
| L1 | ∣w∣1=∑d∣wd∣|w|_1 = \sum_d |w_d|∣w∣1=∑d∣wd∣ | 菱形 | 稀疏解（Lasso） |
| L2 | ∣w∣2=∑dwd2|w|_2 = \sqrt{\sum_d w_d^2}∣w∣2=∑dwd2 | 圆形 | 收缩但不稀疏（Ridge） |
| L∞ | ∣w∣∞=maxd∣wd∣|w|_\infty = \max_d |w_d|∣w∣∞=maxd∣wd∣ | 正方形 | 最大分量约束 |
【图片：L1/L2/L∞约束区域几何形状 --- Lecture 06 第10-12页】
6.3 L2正则化（Ridge回归）⭐⭐⭐
目标函数
w∗=argminw12∑n=1N(tn−wTxn)2+λ2∥w∥22\mathbf{w}^* = \arg\min_w \left\\frac{1}{2}\\sum_{n=1}\^{N}(t_n - \\mathbf{w}\^T\\mathbf{x}_n)\^2 + \\frac{\\lambda}{2}\\\|\\mathbf{w}\\\|_2\^2\\rightw∗=argwmin21n=1∑N(tn−wTxn)2+2λ∥w∥22
注意：通常不对w0w_0w0（截距）进行正则化
闭式解（Ridge正规方程）⭐
wridge∗=(XTX+λI)−1XTt\mathbf{w}^*_{ridge} = (\mathbb{X}^T\mathbb{X} + \lambda \mathbf{I})^{-1} \mathbb{X}^T \mathbf{t}wridge∗=(XTX+λI)−1XTt
- 对比普通正规方程：XTX→XTX+λI\mathbb{X}^T\mathbb{X} \to \mathbb{X}^T\mathbb{X} + \lambda\mathbf{I}XTX→XTX+λI
- λ>0\lambda > 0λ>0 → XTX+λI\mathbb{X}^T\mathbb{X} + \lambda\mathbf{I}XTX+λI 一定可逆（正定矩阵）
λ\lambdaλ的作用
- λ=0\lambda = 0λ=0：退化为普通最小二乘
- λ→∞\lambda \to \inftyλ→∞：所有权重→0（仅剩截距）
- λ\lambdaλ适中：收缩权重→降低复杂度→防过拟合
6.4 L1正则化（Lasso回归）
目标函数
w∗=argminw12∑(tn−wTxn)2+λ∑d∣wd∣\mathbf{w}^* = \arg\min_w \left\\frac{1}{2}\\sum(t_n - \\mathbf{w}\^T\\mathbf{x}_n)\^2 + \\lambda \\sum_d \|w_d\|\\rightw∗=argwmin21∑(tn−wTxn)2+λd∑∣wd∣
- L1产生稀疏解 ：部分wdw_dwd恰好为0→自动特征选择
- L2产生收缩但不稀疏的解
L1 vs L2对比
| L2 (Ridge) | L1 (Lasso) | |
|---|---|---|
| 惩罚项 | λ∑wd2\lambda\sum w_d^2λ∑wd2 | λ∑∣wd∣\lambda\sum|w_d|λ∑∣wd∣ |
| 解的特点 | 权重收缩但不为0 | 稀疏（部分权重=0） |
| 几何 | 圆形约束区域 | 菱形约束区域 |
| 有闭式解 | ✅ | ❌（需迭代优化） |
| 特征选择 | ❌ | ✅ 自动 |
6.5 正规方程的问题与修复 ⭐
问题1：不可逆
- XTX\mathbb{X}^T\mathbb{X}XTX不可逆→正规方程无解
- 原因：特征共线性（D+1>ND+1 > ND+1>N、完美多重共线性）
问题2：病态（Illconditioning）
- XTX\mathbb{X}^T\mathbb{X}XTX可逆但条件数很大
- 条件数 κ=σmax2/σmin2\kappa = \sigma_{max}^2 / \sigma_{min}^2κ=σmax2/σmin2
- κ≫1\kappa \gg 1κ≫1：数据微小噪声→权重剧烈波动→数值不稳定
修复1：Ridge Trick ⭐
wridge∗=(XTX+λI)−1XTt\mathbf{w}^*_{ridge} = (\mathbb{X}^T\mathbb{X} + \lambda\mathbf{I})^{-1}\mathbb{X}^T\mathbf{t}wridge∗=(XTX+λI)−1XTt
- XTX\mathbb{X}^T\mathbb{X}XTX的特征值σi2\sigma_i^2σi2 → 每个+λ\lambdaλ → σi2+λ\sigma_i^2 + \lambdaσi2+λ
- 条件数从 κ=σmax2σmin2\kappa = \frac{\sigma_{max}^2}{\sigma_{min}^2}κ=σmin2σmax2 缩小为 κridge=σmax2+λσmin2+λ\kappa_{ridge} = \frac{\sigma_{max}^2 + \lambda}{\sigma_{min}^2 + \lambda}κridge=σmin2+λσmax2+λ
- λ\lambdaλ提升所有特征值→稳定求逆
修复2：Moore-Penrose伪逆
- 对X\mathbb{X}X做SVD：X=UΣVT\mathbb{X} = U\Sigma V^TX=UΣVT
- 伪逆X+=VΣ+UT\mathbb{X}^+ = V\Sigma^+ U^TX+=VΣ+UT
- 仅"翻转"非零奇异值：Σii+=1/σi\Sigma^+{ii} = 1/\sigma_iΣii+=1/σi if σi>εσmax\sigma_i > \varepsilon\sigma{max}σi>εσmax else 0
- 解：w∗=X+t\mathbf{w}^* = \mathbb{X}^+ \mathbf{t}w∗=X+t（无论X\mathbb{X}X是否可逆都有效）
修复3：随机梯度下降（SGD）
- 每次一个数据点更新参数：w(τ+1)=w(τ)−η∇Enw^{(\tau+1)} = w^{(\tau)} - \eta \nabla E_nw(τ+1)=w(τ)−η∇En
- 无需矩阵求逆→适合大规模数据
笔记中的图片索引
| 序号 | 图片内容描述 | 来源位置 |
|---|---|---|
| 图1 | L1/L2/L∞约束区域几何形状对比 | Lecture 06 第10-12页 |
| 图2 | Ridge: L2约束圆与误差等高线 | Lecture 06 第20-21页 |
| 图3 | λ\lambdaλ对Ridge权重的影响 | Lecture 06 第25-26页 |
| 图4 | 病态条件示例代码 | Lecture 06 第36页 |
笔记整理时间：2026年6月28日