权重衰退是常见处理过拟合的方法
丢弃法比权重衰退效果要好
动机
- 一个好的模型 需要第输入数据的扰动具有鲁棒性
- 使用有噪音的数据等价于Tikhonov正则
- 丢弃法：在层之间加入噪音
（所以丢弃法其实是一个正则）
无偏差的加入噪音
- 对x加入噪音得到x'，我们希望
E [ x ′ ] = x E[x'] = x E[x′]=x - 丢弃法对每个元素进行如下扰动
使用
通常将丢弃法作用在隐藏全连接层的输出上
对隐藏层的每一个神经元做dropout，使每一个都有p概率变为0
即去掉一些权重（每次可能去掉的不一样）
在训练中使用
推理中的丢弃法
-
正则项只在训练中使用：他们影响模型参数的更新
-
在推理过程中，dropout直接返回输入
pythonh=dropout(h)这样也能保证确定性的输出
每次随机的采样一些子神经网络
总结
- 丢弃法将一些输出项随机置0来控制模型复杂度
- 常作用在多层感知机的隐藏层输出上
- 丢弃概率使控制模型复杂度的超参数