残差网络

残差网络的介绍及ResNet-18的搭建（pytorch版）在深度学习领域，“更深的网络性能更好” 曾是研究者们的共识 —— 理论上，网络层数越多，能捕捉的特征越复杂，拟合能力也越强。但在 2015 年之前，当网络深度超过 20 层后，研究者们发现了一个致命问题：梯度消失 / 梯度爆炸导致模型无法训练，甚至出现 “深度退化” 现象（深层网络的测试误差反而比浅层网络更高）。而残差网络（Residual Network，简称 ResNet）的出现，彻底打破了这一困境，不仅让 1000 层以上的超深网络成为可能，更成为如今计算机视觉领域的 “基石架构” 之一。本篇博客主

深度学习：残差网络ResNet与迁移学习在 ResNet 出现之前，研究者们发现，当 CNN 的层数堆叠到一定程度（如超过 20 层），模型会出现两个难以解决的问题，直接限制了深层网络的应用。

论文解析：一文弄懂ResNet(图像识别分类、目标检测)一、相关资源二、Motivation三、技术细节1.残差学习过程2.快捷连接类型(1)Identity Shortcuts（恒等捷径）

一文带你看透什么是ResNet首先我们来看什么是ResNet，其全称为Residual Network（残差网络），是一种深度学习的网络结构，由微软研究院的何凯明等人于2015年提出。ResNet最大的创新在于引入了“残差模块”（Residual Block），有效地解决了深度神经网络训练中的梯度消失和表示瓶颈问题，使得网络的层数可以达到前所未有的深度，如1000层以上。

小喵要摸鱼

ResNet 原论文及原作者讲解更深的神经网络更难训练。我们提出了一个残差学习框架，以简化比以前使用的网络深度大得多的网络的训练。我们明确地将 ResNet 的层重新表述为学习残差函数，也就是与层输入有关的函数，而不是学习无关的函数。

残差网络(ResNet) -深度学习（Residual Networks (ResNet) – Deep Learning）在第一个基于cnn的架构(AlexNet)赢得ImageNet 2012比赛之后，每个随后的获胜架构都在深度神经网络中使用更多的层来降低错误率。这适用于较少的层数，但当我们增加层数时，深度学习中会出现一个常见的问题，称为消失/爆炸梯度。这会导致梯度变为0或太大。因此，当我们增加层数时，训练和测试错误率也会增加。

我是有底线的