droppath - droppath技术,学习,经验文章

西西弗Sisyphus

8 天前

正则化方法（Regularization Method）- DropPathflyfish我们知道，深度神经网络越深，理论上表达能力越强，但实际训练时却非常困难。网络太深容易出现梯度消失、过拟合，而且层与层之间会产生强烈的协同适应（co-adaptation）—— 后面的层过度依赖前面某一层的特定输出，导致网络整体非常脆弱。