ResNet的特点?BN层的目的?模型验证的时候可以用BN吗?

ResNet(残差神经网络)

残差思想:主要目的是为了解决深度神经网络训练过程中的梯度消失和梯度爆炸问题,同时帮助网络更好地学习到特征表示,突出微小的变化,提高网络的性能和泛化能力。从而突出微小的变化

可以被用来训练非常深的网络

亮点

超深的网络结构

提出residual模块

使用Batch Normalization加速训练(丢弃dropout)

Residual结构
  1. 将原本的输入和经过卷积后的输出相加,要注意主分支与shortcut的输出特征矩阵shape必须相同

  2. 残差结构分为好几种,一种为不改变矩阵的长和宽,只改变深度;另外一种为改变矩阵的长和宽,也改变深度。对于不改变矩阵长宽和深度的,只需要直接把输入和输出相加就可以,如果改变了,则输入也要经过卷积后为同样形状方可加减。

Batch Normalization(数据标准化)

BN层的目的是使我们的一批feature map满足均值为0,方差为1的分布规律,从而可以加速收敛

  • 原本我们在输入数据的时候,比如图片处理像素特征,我们会对他进行归一化,使其满足某一分布规律,但经过层层的卷积后,feature map就不一定满足某一分布规律了,而数据标准化(BN)层的目的就是使输入的一批(batch)数据的 feature map满足均值为0,方差为1的分布规律
  • 注意事项:
    1. 训练时候将traning参数设置为true,验证时将trainning参数设置为False,因为训练的时候要统计均值和方差,trainning的时候就要使用之前统计的均值和方差。均值和方差是在正向传播过程中统计得到, γ β在反向传播中统计得到
    2. batch size 尽可能设置大点,设置小后表现可能很糟糕,越大求的均值核方差越接近整个训练集的均值和方差。
    3. 建议将bn层放在卷积层和激活层之间,且卷积层不要使用偏置bias,因为没有用。
迁移学习
  1. 能够快速训练出一个理想结果
  2. 当数据集较小时也能训练出理想效果

注意: 使用别人预训练模型参数时,要注意别人的预处理方式。

ResNeXt

更新了block模块,

通过对卷积过程改进,减少了参数量。

相关推荐
AI小云12 小时前
【机器学习与实战】回归分析与预测:线性回归-03-损失函数与梯度下降
机器学习
L.fountain14 小时前
机器学习shap分析案例
人工智能·机器学习
weixin_4296302614 小时前
机器学习-第一章
人工智能·机器学习
Cedric111314 小时前
机器学习中的距离总结
人工智能·机器学习
寒月霜华20 小时前
机器学习-数据标注
人工智能·机器学习
Godspeed Zhao1 天前
自动驾驶中的传感器技术46——Radar(7)
人工智能·机器学习·自动驾驶
limengshi1383921 天前
机器学习面试:请介绍几种常用的学习率衰减方式
人工智能·学习·机器学习
救救孩子把1 天前
2-机器学习与大模型开发数学教程-第0章 预备知识-0-2 数列与级数(收敛性、幂级数)
人工智能·数学·机器学习
蒋星熠1 天前
如何在Anaconda中配置你的CUDA & Pytorch & cuNN环境(2025最新教程)
开发语言·人工智能·pytorch·python·深度学习·机器学习·ai
Hcoco_me1 天前
什么是机器学习?
人工智能·机器学习