ResNet的特点?BN层的目的?模型验证的时候可以用BN吗?

ResNet(残差神经网络)

残差思想:主要目的是为了解决深度神经网络训练过程中的梯度消失和梯度爆炸问题,同时帮助网络更好地学习到特征表示,突出微小的变化,提高网络的性能和泛化能力。从而突出微小的变化

可以被用来训练非常深的网络

亮点

超深的网络结构

提出residual模块

使用Batch Normalization加速训练(丢弃dropout)

Residual结构
  1. 将原本的输入和经过卷积后的输出相加,要注意主分支与shortcut的输出特征矩阵shape必须相同

  2. 残差结构分为好几种,一种为不改变矩阵的长和宽,只改变深度;另外一种为改变矩阵的长和宽,也改变深度。对于不改变矩阵长宽和深度的,只需要直接把输入和输出相加就可以,如果改变了,则输入也要经过卷积后为同样形状方可加减。

Batch Normalization(数据标准化)

BN层的目的是使我们的一批feature map满足均值为0,方差为1的分布规律,从而可以加速收敛

  • 原本我们在输入数据的时候,比如图片处理像素特征,我们会对他进行归一化,使其满足某一分布规律,但经过层层的卷积后,feature map就不一定满足某一分布规律了,而数据标准化(BN)层的目的就是使输入的一批(batch)数据的 feature map满足均值为0,方差为1的分布规律
  • 注意事项:
    1. 训练时候将traning参数设置为true,验证时将trainning参数设置为False,因为训练的时候要统计均值和方差,trainning的时候就要使用之前统计的均值和方差。均值和方差是在正向传播过程中统计得到, γ β在反向传播中统计得到
    2. batch size 尽可能设置大点,设置小后表现可能很糟糕,越大求的均值核方差越接近整个训练集的均值和方差。
    3. 建议将bn层放在卷积层和激活层之间,且卷积层不要使用偏置bias,因为没有用。
迁移学习
  1. 能够快速训练出一个理想结果
  2. 当数据集较小时也能训练出理想效果

注意: 使用别人预训练模型参数时,要注意别人的预处理方式。

ResNeXt

更新了block模块,

通过对卷积过程改进,减少了参数量。

相关推荐
不惑_1 小时前
【征文计划】AI+AR生态新未来,Rokid核心技术实战解析
人工智能·机器学习
大千AI助手6 小时前
指数分布:从理论到机器学习应用
人工智能·机器学习·参数估计·概率密度函数·mle·指数分布·累积分布函数
可触的未来,发芽的智生7 小时前
触摸未来2025.10.10:记忆的种子,当神经网络拥有了临时工作区,小名喜忆记系统
人工智能·python·神经网络·机器学习·架构
极客BIM工作室7 小时前
演化搜索与群集智能:五种经典算法探秘
人工智能·算法·机器学习
MPCTHU7 小时前
Deep Learning|03 Overview of Machine Learning
人工智能·深度学习·机器学习
金融街小单纯8 小时前
从蓝军建设中学习颠覆性质疑思维
人工智能·算法·机器学习
ARM+FPGA+AI工业主板定制专家8 小时前
基于Jetson+FPGA+GMSL+AI的自动驾驶数据采集解决方案
人工智能·机器学习·自动驾驶
可触的未来,发芽的智生12 小时前
触摸未来2025.10.09:记忆的突围,从64个神经元到人工海马体神经网络
人工智能·python·神经网络·机器学习·架构
努力也学不会java13 小时前
【Java并发】揭秘Lock体系 -- 深入理解ReentrantReadWriteLock
java·开发语言·python·机器学习
爱思德学术16 小时前
中国计算机学会(CCF)推荐学术会议-C(数据库/数据挖掘/内容检索):PAKDD 2026
大数据·机器学习·数据挖掘·知识发现