ResNet的特点?BN层的目的?模型验证的时候可以用BN吗?

ResNet(残差神经网络)

残差思想:主要目的是为了解决深度神经网络训练过程中的梯度消失和梯度爆炸问题,同时帮助网络更好地学习到特征表示,突出微小的变化,提高网络的性能和泛化能力。从而突出微小的变化

可以被用来训练非常深的网络

亮点

超深的网络结构

提出residual模块

使用Batch Normalization加速训练(丢弃dropout)

Residual结构
  1. 将原本的输入和经过卷积后的输出相加,要注意主分支与shortcut的输出特征矩阵shape必须相同

  2. 残差结构分为好几种,一种为不改变矩阵的长和宽,只改变深度;另外一种为改变矩阵的长和宽,也改变深度。对于不改变矩阵长宽和深度的,只需要直接把输入和输出相加就可以,如果改变了,则输入也要经过卷积后为同样形状方可加减。

Batch Normalization(数据标准化)

BN层的目的是使我们的一批feature map满足均值为0,方差为1的分布规律,从而可以加速收敛

  • 原本我们在输入数据的时候,比如图片处理像素特征,我们会对他进行归一化,使其满足某一分布规律,但经过层层的卷积后,feature map就不一定满足某一分布规律了,而数据标准化(BN)层的目的就是使输入的一批(batch)数据的 feature map满足均值为0,方差为1的分布规律
  • 注意事项:
    1. 训练时候将traning参数设置为true,验证时将trainning参数设置为False,因为训练的时候要统计均值和方差,trainning的时候就要使用之前统计的均值和方差。均值和方差是在正向传播过程中统计得到, γ β在反向传播中统计得到
    2. batch size 尽可能设置大点,设置小后表现可能很糟糕,越大求的均值核方差越接近整个训练集的均值和方差。
    3. 建议将bn层放在卷积层和激活层之间,且卷积层不要使用偏置bias,因为没有用。
迁移学习
  1. 能够快速训练出一个理想结果
  2. 当数据集较小时也能训练出理想效果

注意: 使用别人预训练模型参数时,要注意别人的预处理方式。

ResNeXt

更新了block模块,

通过对卷积过程改进,减少了参数量。

相关推荐
Blossom.11815 分钟前
把 AI“缝”进布里:生成式编织神经网络让布料自带摄像头
人工智能·python·单片机·深度学习·神经网络·目标检测·机器学习
koo3642 小时前
李宏毅机器学习笔记27
人工智能·笔记·机器学习
weixin_377634842 小时前
【强化学习】RLMT强制 CoT提升训练效果
人工智能·算法·机器学习
材料科学研究2 小时前
固态电池AI设计:从DFT到机器学习!!!
机器学习·电池·固态电池·电池健康·高通量计算·电池寿命
渡我白衣3 小时前
《未来的 AI 操作系统(四)——AgentOS 的内核设计:调度、记忆与自我反思机制》
人工智能·深度学习·机器学习·语言模型·数据挖掘·人机交互·语音识别
he___H3 小时前
Kaggle机器学习初级的三种决策树
决策树·机器学习
MoRanzhi12033 小时前
Pillow 基础图像操作与数据预处理
图像处理·python·深度学习·机器学习·numpy·pillow·数据预处理
GIS数据转换器3 小时前
带高度多边形,生成3D建筑模型,支持多种颜色或纹理的OBJ、GLTF、3DTiles格式
数据库·人工智能·机器学习·3d·重构·无人机
明朝百晓生5 小时前
强化学习【Monte Carlo Learning][MC Basic 算法]
人工智能·机器学习
悟乙己13 小时前
MLops | 基于AWS Lambda 架构构建强大的机器学习(ML)血缘关系
机器学习·架构·aws