ResNet的特点?BN层的目的?模型验证的时候可以用BN吗?

ResNet(残差神经网络)

残差思想:主要目的是为了解决深度神经网络训练过程中的梯度消失和梯度爆炸问题,同时帮助网络更好地学习到特征表示,突出微小的变化,提高网络的性能和泛化能力。从而突出微小的变化

可以被用来训练非常深的网络

亮点

超深的网络结构

提出residual模块

使用Batch Normalization加速训练(丢弃dropout)

Residual结构
  1. 将原本的输入和经过卷积后的输出相加,要注意主分支与shortcut的输出特征矩阵shape必须相同

  2. 残差结构分为好几种,一种为不改变矩阵的长和宽,只改变深度;另外一种为改变矩阵的长和宽,也改变深度。对于不改变矩阵长宽和深度的,只需要直接把输入和输出相加就可以,如果改变了,则输入也要经过卷积后为同样形状方可加减。

Batch Normalization(数据标准化)

BN层的目的是使我们的一批feature map满足均值为0,方差为1的分布规律,从而可以加速收敛

  • 原本我们在输入数据的时候,比如图片处理像素特征,我们会对他进行归一化,使其满足某一分布规律,但经过层层的卷积后,feature map就不一定满足某一分布规律了,而数据标准化(BN)层的目的就是使输入的一批(batch)数据的 feature map满足均值为0,方差为1的分布规律
  • 注意事项:
    1. 训练时候将traning参数设置为true,验证时将trainning参数设置为False,因为训练的时候要统计均值和方差,trainning的时候就要使用之前统计的均值和方差。均值和方差是在正向传播过程中统计得到, γ β在反向传播中统计得到
    2. batch size 尽可能设置大点,设置小后表现可能很糟糕,越大求的均值核方差越接近整个训练集的均值和方差。
    3. 建议将bn层放在卷积层和激活层之间,且卷积层不要使用偏置bias,因为没有用。
迁移学习
  1. 能够快速训练出一个理想结果
  2. 当数据集较小时也能训练出理想效果

注意: 使用别人预训练模型参数时,要注意别人的预处理方式。

ResNeXt

更新了block模块,

通过对卷积过程改进,减少了参数量。

相关推荐
l12345sy1 小时前
Day21_【机器学习—决策树(3)—剪枝】
决策树·机器学习·剪枝
笔触狂放2 小时前
【机器学习】综合实训(一)
人工智能·机器学习
Billy_Zuo2 小时前
人工智能机器学习——逻辑回归
人工智能·机器学习·逻辑回归
非门由也3 小时前
《sklearn机器学习——管道和复合估计器》联合特征(FeatureUnion)
人工智能·机器学习·sklearn
l12345sy3 小时前
Day21_【机器学习—决策树(1)—信息增益、信息增益率、基尼系数】
人工智能·决策树·机器学习·信息增益·信息增益率·基尼指数
非门由也3 小时前
《sklearn机器学习——管道和复合估算器》异构数据的列转换器
人工智能·机器学习·sklearn
java1234_小锋4 小时前
Scikit-learn Python机器学习 - 特征降维 压缩数据 - 特征提取 - 主成分分析 (PCA)
python·机器学习·scikit-learn
java1234_小锋4 小时前
Scikit-learn Python机器学习 - 特征降维 压缩数据 - 特征提取 - 线性判别分析 (LDA)
python·机器学习·scikit-learn
小王爱学人工智能5 小时前
快速了解迁移学习
人工智能·机器学习·迁移学习
非门由也5 小时前
《sklearn机器学习——管道和复合估算器》可视化复合估计器
人工智能·机器学习·sklearn