一、定义
在深度学习中，正则化是一种用于防止过拟合的技术 。过拟合是指模型在训练数据上表现非常好，但在新的、未见过的数据（测试数据）上表现很差的情况。正则化模型就是通过在损失函数中添加额外的项来约束模型的复杂度，使得模型在训练过程中不仅要拟合数据，还要满足一定的复杂度限制，从而提高模型的泛化能力。
二、常见的正则化方法及原理
-
L1 正则化（Lasso 正则化）
- 原理：L1 正则化是在损失函数中添加权重向量的 L1 范数（绝对值之和）作为惩罚项。对于一个具有权重向量的神经网络模型，L1 正则化后的损失函数可以表示为：，其中是原始的损失函数（如交叉熵损失或均方误差损失），是正则化强度参数，是权重向量的各个分量。
- 效果：L1 正则化会使模型的一些权重变为 0，从而实现特征选择的效果。例如，在一个线性回归模型（神经网络的一种简单形式）中，如果某个特征对应的权重被正则化为 0，就相当于这个特征被模型忽略了，这样可以减少模型的复杂度。
-
L2 正则化（岭正则化）
- 原理：L2 正则化是在损失函数中添加权重向量的 L2 范数（平方和的平方根）的平方作为惩罚项。损失函数可表示为：。
- 效果：L2 正则化会使模型的权重趋向于较小的值，但不会使权重为 0。较小的权重意味着模型对输入的变化不会过于敏感，从而减少过拟合。例如，在一个多层感知机（MLP）中，经过 L2 正则化训练后，权重的大小会受到限制，使得模型更加平滑，不容易对训练数据中的噪声进行过度拟合。
-
Dropout 正则化
- 原理：在训练过程中，对于每一个训练批次（mini - batch），以一定的概率（例如）随机地 "丢弃"（将其权重设置为 0）神经网络中的一些神经元。在预测阶段，所有的神经元都参与计算，但是神经元的输出要乘以保留概率。例如，对于一个有个神经元的层，在训练时，每个神经元有的概率被丢弃，那么剩下的神经元组成的网络结构就会发生变化，相当于训练了多个不同结构的子网络。
- 效果：这种随机丢弃神经元的方式可以防止神经元之间的复杂协同适应（co - adaptation）。也就是说，神经元不能过度依赖于其他特定的神经元，因为它们在每次训练时可能会被丢弃，从而提高了模型的泛化能力。例如，在一个卷积神经网络（CNN）用于图像分类时，使用 Dropout 可以避免某些卷积核过度拟合图像中的局部特征。
-
Early Stopping
- 原理：在训练过程中，记录模型在验证集上的性能（如准确率或损失值）。当验证集性能不再提升甚至开始下降时，停止训练。这是基于这样的观察：随着训练的进行，模型可能会开始过拟合训练数据，而验证集性能可以反映模型的泛化能力。
- 效果：通过及时停止训练，可以得到一个在泛化性能和拟合训练数据之间取得较好平衡的模型。例如，在训练一个循环神经网络（RNN）用于文本生成时，早期停止训练可以防止模型对训练文本中的特定模式过度记忆，从而提高生成文本的多样性和合理性。