Dropout：神经网络正则化的经典解读

本文是对经典论文与 D2L 相关章节的原创中文解读，不是逐段翻译。参考来源、作者与许可说明见文末。

为什么 Dropout 曾经如此重要

深度神经网络最早给人留下的一个矛盾印象是：它们表达能力很强，也因此很容易把训练集里的偶然噪声当成规律。参数越多，模型越能记住训练样本；数据量不足时，这种"聪明"反而会变成脆弱。

2014 年，Nitish Srivastava、Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever 和 Ruslan Salakhutdinov 在 JMLR 发表了论文《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》。这篇论文的核心想法非常朴素：训练时随机关掉一部分神经元，让网络不要过度依赖某几个固定特征组合；测试时再使用完整网络，并用缩放近似许多子网络的集成效果。

朴素，正是它的锋利之处。Dropout 不需要改变损失函数，不需要显式训练很多模型，也不要求复杂的贝叶斯推断流程。它只是往训练过程里注入结构化随机性，却在视觉、语音、文本分类和生物信息学等任务上显著缓解了过拟合。放在今天看，它仍然是理解神经网络正则化、模型集成和不确定性估计的一块好入口。

从"共适应"说起

论文里有一个关键词：co-adaptation，通常可译作"共适应"或"协同适配"。它描述的是这样一种现象：某些隐藏单元会彼此形成过于固定的配合关系。一个单元学到的特征，默认另一个单元总会在旁边补位；这套配合在训练集上可能很好用，但一到新数据，就容易露怯。

可以把普通神经网络想象成一支训练过度默契的小队。默契本身不是坏事，但如果每个人都只会在固定队形里工作，任何一个队友暂时缺席，整套策略就会散掉。Dropout 做的事情，是在训练阶段不断制造"队友临时缺席"的情况：每次前向传播时，按概率随机把一些单元置零，同时切断它们参与本次计算的连接。

这会迫使剩下的单元学会更独立、更鲁棒的表示。它们不能指望某个特征一定出现，也不能把预测责任全压给少数路径。网络因此更像是在学习一组可重组的证据，而不是死记一套训练集里的脆弱暗号。

机制：训练时变薄，推理时合并

以某一层激活向量 (h) 为例。若 dropout 概率为 (p)，保留概率就是

q=1−p. q = 1 - p. q=1−p.

训练时，我们采样一个与 (h) 形状相同的伯努利掩码：

mi∼Bernoulli(q). m_i \sim \mathrm{Bernoulli}(q). mi∼Bernoulli(q).

最常见的"反向 Dropout"写法是：

h~=m⊙hq. \tilde h = \frac{m \odot h}{q}. h~=qm⊙h.

这里的 (\odot) 表示逐元素相乘。被丢弃的单元变成 0；保留下来的单元除以 (q)，使得每个激活的期望仍大致保持为原来的 (h)。这样做的好处是：测试时可以直接关闭 Dropout，使用完整网络前向传播，不必再额外缩放激活。

用伪代码看会更直观：

python 复制代码

def dropout(h, drop_prob, training=True):
    if not training or drop_prob == 0:
        return h
    keep_prob = 1 - drop_prob
    mask = bernoulli(shape=h.shape, prob=keep_prob)
    return mask * h / keep_prob

原论文采用的表述更偏"保留概率" (p)：训练时某个单元以概率 (p) 存在，测试时把对应权重乘以 (p)，从而让测试时输出接近训练时随机网络输出的期望。现代框架常用上面这种 inverted dropout，把缩放放在训练阶段，推理阶段更干净。两种写法服务的是同一个目标：让训练和测试阶段的数值尺度对齐。

它为什么像一种廉价集成

Dropout 的另一个漂亮解释，是"指数级子网络的参数共享集成"。

如果一个网络里有 (n) 个可被随机丢弃的单元，那么理论上可以形成 (2^n) 个不同的"变薄网络"。真正逐个训练这些网络当然不现实：成本会爆炸，部署时也无法把这么多网络都跑一遍。Dropout 的做法是，每个 mini-batch 随机抽一个变薄网络训练，但所有变薄网络共享同一套权重。

这就像在一个大网络内部，隐式训练了很多结构相近、参数共享的子模型。测试时使用完整网络和缩放规则，近似这些子模型预测的平均效果。它不是严格的显式模型平均，却用很小的工程代价拿到了集成学习的一部分收益。

这也是 Dropout 能长期留在深度学习工具箱里的原因：它把"不要让模型只相信一条路径"变成了一个简单层操作。

放在哪里，怎么调

实践中，Dropout 通常放在全连接层之后，尤其是早期 MLP、CNN 分类头、RNN 变体和 Transformer 的若干子层中。D2L 的讲解也强调：训练时启用 Dropout，测试时禁用 Dropout；框架里的 Dropout 层会根据 train() / eval() 状态自动切换行为。

几个经验点值得记住：

隐藏层的 dropout 概率常见范围在 0.1 到 0.5。越大的网络、越少的数据，通常越需要正则化，但概率过高会让优化变难。
输入层一般不宜丢得太狠。原论文中也提到，输入单元的保留概率往往更接近 1，而不是像隐藏层那样常用 0.5。
Dropout 不是越多越好。它与权重衰减、数据增强、早停、BatchNorm、LayerNorm 等技巧会互相影响，最终仍要看验证集。
在现代大模型里，Dropout 的角色变得更克制。大规模数据、归一化层、残差结构和预训练范式改变了正则化需求；但在数据较少、分类头微调、较小模型训练时，它仍然非常实用。

一个容易踩的坑：训练和推理状态

Dropout 最常见的工程错误，不在公式，而在模式切换。

如果训练时忘了启用 Dropout，模型就没有得到这项正则化；如果推理时忘了关闭 Dropout，同一个输入会因为随机掩码而得到波动输出，评估指标也会变得不稳定。PyTorch 中通常对应：

python 复制代码

model.train()  # 训练：Dropout 生效
model.eval()   # 推理/验证：Dropout 关闭

这两行看似平常，却决定了模型行为。很多"为什么我的验证结果每次都不一样"的问题，最后都能追到这里。

与不确定性估计的关系

D2L 章节还提到一个有趣例外：虽然 Dropout 通常在测试时关闭，但有研究会故意在测试时保留 Dropout，多次前向传播得到一组预测，再用预测分散程度粗略衡量不确定性。这通常被称为 Monte Carlo Dropout。

直觉上，如果随机丢掉不同单元后，模型仍然给出相近答案，说明它对这个输入更有把握；如果预测飘来飘去，就可能意味着样本处在模型不熟悉的区域。这个方向让 Dropout 从单纯正则化技巧，延伸到了近似贝叶斯推断和模型置信度估计。严格性另说，但这个想法很有生命力。

影响：一个简单技巧背后的深层观念

Dropout 的历史价值不只是"降低过拟合"。它真正留下来的观念有三层。

第一，随机性可以是结构化正则化。噪声不是只能加在输入上，也可以加在隐藏表示、连接路径和训练过程里。

第二，单个网络也可以包含集成的影子。通过共享参数和随机子结构，模型可以在训练中见到大量不同计算路径，提升泛化。

第三，神经网络中的特征不应过度依赖固定同伴。好的表示应该能在上下文轻微扰动时仍然工作。

这些思想后来出现在很多地方：DropConnect 随机丢权重，Stochastic Depth 随机跳过残差层，Transformer 里对 attention 权重和 MLP 激活使用 dropout，甚至数据增强、随机深度、随机 mask 训练也都带着类似的味道。Dropout 像一枚早期种子，后来长成了一片很大的正则化森林。

今天还该不该用 Dropout

答案不是机械的"应该"或"不应该"。

如果你在训练中小规模监督模型，数据不够大，验证集明显过拟合，Dropout 仍然是值得尝试的第一批工具。它实现简单、成本低、与主流框架结合成熟。

如果你在微调大模型或使用强数据增强的视觉模型，Dropout 的收益可能很小，甚至会影响收敛速度。这时应优先看验证曲线、数据规模和具体架构，而不是因为"经典"就默认加上。

更准确地说，Dropout 是一个让模型不要太确信训练集偶然性的装置。它不是万能药，但它用一个极简操作，把泛化、集成、鲁棒性这几个抽象概念接到了日常训练代码里。对任何想理解深度学习正则化的人，它仍然值得认真读一遍。

参考来源与许可说明

原论文：Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov, "Dropout: A Simple Way to Prevent Neural Networks from Overfitting", Journal of Machine Learning Research, 15(56):1929-1958, 2014。原文链接：https://www.jmlr.org/papers/v15/srivastava14a.html
解读参考：Dive into Deep Learning 1.0.3, "Dropout", Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola。原文链接：https://d2l.ai/chapter_multilayer-perceptrons/dropout.html
许可说明：D2L 英文开源书 README / LICENSE-SUMMARY 说明，文档内容采用 Creative Commons Attribution-ShareAlike 4.0 International License，示例与参考代码采用 modified MIT license。本文为原创中文解读，引用 D2L 图示时保留来源与许可说明。