【动手学深度学习】7.6. 残差网络(ResNet)(个人向笔记)

1. ResNet精读论文视频的Introduction部分

  • 深度卷积神经网络好,好在可以叠加很多层,每一层都可以提取不一样的特征
  • 但是网络特别深的时候,梯度要么爆炸要么消失,我们能做的就是将参数随机初始化做好,或者是在中间加一些 batch normalization。在使用了这些方法后,深度卷积神经网络得以收敛
  • 但是收敛后的深度变深会导致性能变差。但是这不是由于过拟合引起的,这就意味着你的网络看似是收敛了,丹斯其实没有得到很好的训练
  • 于是论文提出,对于一个效果好的浅网络,如果再加一些层让它变深,它的效果是不应该变差的。虽然理论上存在一些比较优的解,但是SGD找不出来
  • 这篇文章提出可以显示地构造一个优解(identity mapping),使得深层的不会比浅层更差
  • 我们假设原来的要学习的是 H(x),这里构造一个 F(x) = H(x) - x, 这表示我们对于前面学过的 x(这里的 x 是上一层网络的输出),我们不需要再重新去学习它了,所以把它减掉。因此我们在这里学习到的是残差,最后输出再把 x 加回来
  • 这个方法很好,没有增加参数,即增加复习复杂度。也没有增加计算复杂度,因为只是一个加法,而且网络也是可训练的。它可以做到网络越深,效果越好

2. 函数类

  • 原文有定义,我们在这里直接引用:我们对网络的叠加很可能是非嵌套函数类。对于深度神经网络,如果我们能将新添加的层训练成恒等映射(identity function) f ( x ) = x f(x) = x f(x)=x,新模型和原模型将同样有效。 同时,由于新模型可能得出更优的解来拟合训练数据集,因此添加层似乎更容易降低训练误差。
  • 针对这一问题,何恺明等人提出了残差网络(ResNet)。

3. 残差块

  • 和论文 introcution 部分介绍的内容差不多:
  • ResNet沿用了VGG完整的 3 × 3 3×3 3×3 卷积层设计。残差块里首先有 2 个相同输出通道数的 3 × 3 3\times3 3×3 卷积层。每个卷积层后接一个BN层和ReLU。然后我么通过跨层数据通路,跳过这两个卷积运算,将输入直接加在最后的 ReLU 激活函数前。这样的设计要求两个卷积层的输出于输入形状一样,从而使得它们可以相加。而如果想要改变通道数就需要引入一个额外的 1 × 1 1×1 1×1 卷积层来将输入变换成需要的形状后再做相加运算



4. ResNet模型

  • ResNet-18如下
相关推荐
飞升不如收破烂~几秒前
英语笔记1.0
笔记
zhysunny3 分钟前
WebSocket实战:实现实时聊天应用 - 双向通信技术详解
网络·websocket·网络协议
ozawacai5 分钟前
markdown学习笔记(个人向) Part.1
笔记·学习
喝可乐的布偶猫10 分钟前
Java-----韩顺平单例设计模式学习笔记
java·笔记·设计模式
hhh123987_26 分钟前
以太网基础⑤UDP 协议原理与 FPGA 实现
网络·网络协议·udp
灰海29 分钟前
封装WebSocket
前端·网络·websocket·网络协议·vue
W111115_43 分钟前
网络综合实验
linux·运维·服务器·网络
cui_win44 分钟前
【网络】Linux 内核优化实战 - net.ipv4.tcp_sack
linux·网络·tcp/ip
YC运维1 小时前
OSPF实验以及核心原理全解
运维·网络·网络协议·智能路由器
uuu_柚子1 小时前
IPv4和IPv6双栈配置
网络·智能路由器