正则化（Regularization）简介
在机器学习中，正则化是用来防止模型过拟合的一种方法。通过向模型的损失函数中加入一个正则项（也叫惩罚项），约束模型的复杂度，使其更具泛化能力。
为什么需要正则化？
- 过拟合（Overfitting） ：
- 训练集的误差很小，但在测试集上的表现较差。
- 通常是因为模型过于复杂，过度拟合训练数据的噪声或细节。
- 正则化的作用 ：
- 限制模型的自由度（降低复杂度）。
- 让模型更加平滑，从而提升对未见数据的泛化能力。
样例
下面是加入正则项的损失函数
要是的损失函数最小，就需要使 w1,w2 变得无穷小，以满足 最小
最后使得模型等同于上图第一个模型
常见的正则化方法
1. L1 正则化（Lasso Regularization）
- 定义 ： 在损失函数中加入参数绝对值的和作为正则项：
- 特点 ：
- 能将某些特征的权重缩小到 0，从而实现特征选择。
- 更适合用于稀疏数据或希望简化模型的场景。
2. L2 正则化（Ridge Regularization）
-
定义： 在损失函数中加入参数平方和作为正则项：
-
特点：
- 不会强制权重为零，而是让权重更趋向于较小值。
- 常用于回归模型（如 Ridge Regression）中。
3. Elastic Net 正则化
- 定义 ： 同时结合 L1 和 L2 的正则化形式：
- 特点 ：
- 结合了 L1 和 L2 的优点。
- 在稀疏数据和多重共线性场景下效果更好。
4. Dropout（丢弃法）
- 原理： 在训练时，随机丢弃神经网络中的一部分神经元（即将部分输出设为 0）。
- 特点 ：
- 防止深度神经网络过拟合。
- 增强网络的鲁棒性，相当于对多个子模型进行集成。
正则化中的关键参数
-
正则化强度 (λ\lambdaλ)：
- 控制正则化项的影响力。
- λ\lambdaλ 太大：模型可能欠拟合。
- λ\lambdaλ 太小：正则化效果不足，可能过拟合。
- 通常通过交叉验证选择最优 λ\lambdaλ。
-
选择正则化方法：
- 数据稀疏：优先选择 L1 或 Elastic Net。
- 数据规模大，特征较多：优先选择 L2。
总结
正则化是控制模型复杂度、防止过拟合的核心技术。根据具体任务需求，可以选择 L1、L2、Elastic Net、Dropout 或其他正则化方法来提升模型的泛化能力。