（六）Dropout抑制过拟合与超参数的选择--九五小庞

过拟合

• 即模型在训练集上表现的很好，但是在测试集上效果却很差。也就是说，在已知的数据集合中非常好，再添加一些新数据进来效果就会差很多

欠拟合

• 即模型在训练集上表现的效果差，没有充分利用数据，预测准确率很低，拟合结果严重不符合预期

dropout层

为什么说Dropout可以解决过拟合

• 取平均的作用
  先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采取"5个结果取均值"或者"多数取胜的投票策略"去决定最终结果。
• 减少神经元之间复杂的共适应关系
  因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其他特征下才有效果的情况。
• dropout类似于性别在生物进化中的角色
  物种为了生存往往会倾向于适用这种环境，环境突变则会导致物种难以做出及时的反应，性别的出现可以繁衍出适用新环境的变种，有效的阻止过拟合，即避免环境改变时物种可能面临的灭绝

参数选择原则

• 理想的模型刚好在欠拟合和过拟合的界线上，也就是正好拟合数据。

首先开发一个过拟合的模型

1. 添加更多的层
2. 让每一层变得更大
3. 训练更多的轮次

然后抑制过拟合

1. dropout
2. 正则化
3. 图像增强

• 增大训练数据是抑制过拟合的最好办法，在没有数据的前提下，上面三种方法可以来抑制过拟合

再次调节超参数

1. 学习速率
2. 隐藏单层神经元数
3. 训练轮次

• 超参数的选择是一个经验与不断测试的结果。经典机器学习的方法，如特征工程，增加训练数据也要做
• 交叉验证

构建网络的总原则

• 总的原则是：保证神经网络容量组个拟合数据

1. 增大网络容量，直到过拟合
2. 采取措施抑制过拟合
3. 继续增大网络容量，直到过拟合