残差网络

小喵要摸鱼

ResNet 原论文及原作者讲解更深的神经网络更难训练。我们提出了一个残差学习框架，以简化比以前使用的网络深度大得多的网络的训练。我们明确地将 ResNet 的层重新表述为学习残差函数，也就是与层输入有关的函数，而不是学习无关的函数。

残差网络(ResNet) -深度学习（Residual Networks (ResNet) – Deep Learning）在第一个基于cnn的架构(AlexNet)赢得ImageNet 2012比赛之后，每个随后的获胜架构都在深度神经网络中使用更多的层来降低错误率。这适用于较少的层数，但当我们增加层数时，深度学习中会出现一个常见的问题，称为消失/爆炸梯度。这会导致梯度变为0或太大。因此，当我们增加层数时，训练和测试错误率也会增加。