吴恩达深度学习(9)

经典的神经网络:

残差网络(ResNet)

太深的神经网络容易出现梯度消失与梯度爆炸等问题。

跳跃连接,能从一层中得到激活并将其传递给下一层,甚至更深的网络层。利用这个可以训练网络层很深很深的残差网络(ResNet:使用了残差结构的网络)。

为什么使用残差网络

上述证明意味着残差块比较容易学习恒等函数,添加残差块到中间或者尾部并不影响网络的表现。残差网络两个有效性在于:让额外层学习起恒等函数非常简单,并且总能保证他几乎不会影响总体的表现,有时候甚至可以提升网络的表现。

网络中的网络与1X1卷积

1X1卷积可以做什么

改变长和宽的大小,可以通过池化层实现,想改变通道数,需要通过1X1卷积

初始网络动机:

使用1X1可以降低计算成本,只要使用合理,不会对数据造成影响。

初始网络(Inception)

Inception模块的输入一般是激活值,或者是来自上一个的输出。

Inception网络就是多次重复使用Inception模块

MobileNets网络(深度可分离卷积):可以大大减小计算量

深度可分离卷积由深度卷积逐点卷积两个部分构成

  • 首先要看一下深度卷积

  • 接下来要看逐点卷积:

用1X1X3的核,先相乘再相加。一共用5个核

网络的升级:加入残差网络、在块前加入一个扩展层

EfficientNet网络:根据条件,调整网络的大小

使用开源码:

迁移学习:

可以下载训练好权重的网络迁移到自己的任务上,

数据增强的方法:

1、镜像、裁剪、旋转、局部弯曲

2、色彩变化(在红、绿、蓝通道上加上扰动)、PCA色彩增强

相关推荐
落樱弥城7 分钟前
图像处理——边缘检测
图像处理·人工智能·计算机视觉
IT古董7 分钟前
【漫话机器学习系列】224.双曲正切激活函数(Hyperbolic Tangent Activation Function)
人工智能·机器学习
Allen Bright10 分钟前
【机器学习-线性回归-3】深入浅出:简单线性回归的概念、原理与实现
人工智能·机器学习·线性回归
我不是小upper14 分钟前
数据预处理之特征选择 (Feature Selection)
人工智能·深度学习·机器学习
没有不重的名么21 分钟前
在Pytorch中使用Tensorboard可视化训练过程
人工智能·pytorch·python
小lo想吃棒棒糖24 分钟前
当自动驾驶遇上“安全驾校”:NVIDIA如何用技术给无人驾驶赋能?
人工智能·安全·自动驾驶
余弦的倒数25 分钟前
计算机视觉各类任务评价指标详解
人工智能·计算机视觉
小彭律师1 小时前
SinSR模型剪枝实验报告
人工智能·算法·剪枝
何双新1 小时前
L2-1、打造稳定可控的 AI 输出 —— Prompt 模板与格式控制
人工智能·prompt
意.远1 小时前
PyTorch卷积层填充(Padding)与步幅(Stride)详解及代码示例
人工智能·pytorch·python·深度学习