吴恩达深度学习(9)

经典的神经网络:

残差网络(ResNet)

太深的神经网络容易出现梯度消失与梯度爆炸等问题。

跳跃连接,能从一层中得到激活并将其传递给下一层,甚至更深的网络层。利用这个可以训练网络层很深很深的残差网络(ResNet:使用了残差结构的网络)。

为什么使用残差网络

上述证明意味着残差块比较容易学习恒等函数,添加残差块到中间或者尾部并不影响网络的表现。残差网络两个有效性在于:让额外层学习起恒等函数非常简单,并且总能保证他几乎不会影响总体的表现,有时候甚至可以提升网络的表现。

网络中的网络与1X1卷积

1X1卷积可以做什么

改变长和宽的大小,可以通过池化层实现,想改变通道数,需要通过1X1卷积

初始网络动机:

使用1X1可以降低计算成本,只要使用合理,不会对数据造成影响。

初始网络(Inception)

Inception模块的输入一般是激活值,或者是来自上一个的输出。

Inception网络就是多次重复使用Inception模块

MobileNets网络(深度可分离卷积):可以大大减小计算量

深度可分离卷积由深度卷积逐点卷积两个部分构成

  • 首先要看一下深度卷积

  • 接下来要看逐点卷积:

用1X1X3的核,先相乘再相加。一共用5个核

网络的升级:加入残差网络、在块前加入一个扩展层

EfficientNet网络:根据条件,调整网络的大小

使用开源码:

迁移学习:

可以下载训练好权重的网络迁移到自己的任务上,

数据增强的方法:

1、镜像、裁剪、旋转、局部弯曲

2、色彩变化(在红、绿、蓝通道上加上扰动)、PCA色彩增强

相关推荐
__Benco1 小时前
OpenHarmony子系统开发 - DFX(一)
人工智能·harmonyos
小西几哦1 小时前
3D点云配准RPM-Net模型解读(附论文+源码)
人工智能·pytorch·3d
CareyWYR1 小时前
每周AI论文速递(250331-250404)
人工智能
码视野2 小时前
基于快速开发平台与智能手表的区域心电监测与AI预警系统(源码+论文+部署讲解等)
人工智能·智能手表·毕业论文·计算机论文·物联网论文
skywalk81632 小时前
OpenRouter开源的AI大模型路由工具,统一API调用
服务器·前端·人工智能·openrouter
ejinxian2 小时前
大模型应用初学指南
人工智能·大模型·向量数据库
秋93 小时前
使用人工智能大模型kimi,如何免费高效制作PPT?
人工智能·kimi·制作ppt
IT古董3 小时前
【漫话机器学习系列】181.没有免费的午餐定理(NFL)
人工智能·机器学习
2501_911067663 小时前
无人机智慧路灯杆:智慧城市的‘全能助手’
人工智能·无人机·智慧城市