【动手学深度学习】7.6. 残差网络(ResNet)(个人向笔记)

1. ResNet精读论文视频的Introduction部分

  • 深度卷积神经网络好,好在可以叠加很多层,每一层都可以提取不一样的特征
  • 但是网络特别深的时候,梯度要么爆炸要么消失,我们能做的就是将参数随机初始化做好,或者是在中间加一些 batch normalization。在使用了这些方法后,深度卷积神经网络得以收敛
  • 但是收敛后的深度变深会导致性能变差。但是这不是由于过拟合引起的,这就意味着你的网络看似是收敛了,丹斯其实没有得到很好的训练
  • 于是论文提出,对于一个效果好的浅网络,如果再加一些层让它变深,它的效果是不应该变差的。虽然理论上存在一些比较优的解,但是SGD找不出来
  • 这篇文章提出可以显示地构造一个优解(identity mapping),使得深层的不会比浅层更差
  • 我们假设原来的要学习的是 H(x),这里构造一个 F(x) = H(x) - x, 这表示我们对于前面学过的 x(这里的 x 是上一层网络的输出),我们不需要再重新去学习它了,所以把它减掉。因此我们在这里学习到的是残差,最后输出再把 x 加回来
  • 这个方法很好,没有增加参数,即增加复习复杂度。也没有增加计算复杂度,因为只是一个加法,而且网络也是可训练的。它可以做到网络越深,效果越好

2. 函数类

  • 原文有定义,我们在这里直接引用:我们对网络的叠加很可能是非嵌套函数类。对于深度神经网络,如果我们能将新添加的层训练成恒等映射(identity function) f ( x ) = x f(x) = x f(x)=x,新模型和原模型将同样有效。 同时,由于新模型可能得出更优的解来拟合训练数据集,因此添加层似乎更容易降低训练误差。
  • 针对这一问题,何恺明等人提出了残差网络(ResNet)。

3. 残差块

  • 和论文 introcution 部分介绍的内容差不多:
  • ResNet沿用了VGG完整的 3 × 3 3×3 3×3 卷积层设计。残差块里首先有 2 个相同输出通道数的 3 × 3 3\times3 3×3 卷积层。每个卷积层后接一个BN层和ReLU。然后我么通过跨层数据通路,跳过这两个卷积运算,将输入直接加在最后的 ReLU 激活函数前。这样的设计要求两个卷积层的输出于输入形状一样,从而使得它们可以相加。而如果想要改变通道数就需要引入一个额外的 1 × 1 1×1 1×1 卷积层来将输入变换成需要的形状后再做相加运算



4. ResNet模型

  • ResNet-18如下
相关推荐
宝哥网络砖家5 小时前
软路由品牌推荐先看设备站在哪一层
网络·软路由·routeros
时间的拾荒人5 小时前
Linux 系统命令与网络、磁盘、日志监控(下篇):性能原理与优化
linux·运维·网络
Rabitebla6 小时前
【Linux】文件篇(五):手撕简易 FILE——模拟实现 C 标准 I/O 缓冲机制
linux·服务器·c语言·笔记·学习·ubuntu
伞伞悦读6 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
摇滚侠7 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
nice_lcj5208 小时前
【从零理解计算机网络 · 13】DNS 解析全流程:域名怎么变成 IP,慢在哪
网络·计算机网络·面试·dns·域名解析·cname·ttl
江屿风11 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
2601_9679791214 小时前
【一】tensorflow安装、常用python镜像源、tensorflow 深度学习强化学习教学
深度学习·tensorflow·安装教程·anaconda·gpu安装
吃我一窝jio15 小时前
Java Bug复盘与性能优化实战
java·开发语言·笔记
tellmewhoisi16 小时前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论