深度学习面试准备
深度学习图像算法工程师--面试准备(1)
深度学习图像算法工程师--面试准备(2)
文章目录
- 深度学习面试准备
- 前言
- [一、Batch Normalization(批归一化)](#一、Batch Normalization(批归一化))
-
- [1.1 具体步骤](#1.1 具体步骤)
- [1.2 BN一般用在网络的哪个部分](#1.2 BN一般用在网络的哪个部分)
- [二、Layer Normalization(层归一化)](#二、Layer Normalization(层归一化))
- [三、 Internal Covariate Shift](#三、 Internal Covariate Shift)
- 总结
前言
一、Batch Normalization(批归一化)
- BatchNormalization的作用是通过规范化的手段,将越来越偏的分布拉回到标准化的分布,使得激活函数的输入值落在激活函数对输入比较敏感的区域,从而使梯度变大,加快学习收敛速度,避免梯度消失的问题。
- 使得每层网络的输入都服从(0,1)0均值,1方差分布,如果不进行BN,那么每次输入的数据分布不一致,网络训练精度自然也受影响。
- 在Batch中进行 Normalization 计算,其实就是在每个通道进行一次计算,即计算范围是 [Batch, 1, Height,Width],计算次数是 Channel。
1.1 具体步骤
- 计算样本均值。
- 计算样本方差。
- 样本数据标准化处理。
- 进行平移和缩放处理。引入了γ和β两个参数。来训练γ和β两个参数。引入了这个可学习重构参数γ、β,让我们的网络可以学习恢复出原始网络所要学习的特征分布。
1.2 BN一般用在网络的哪个部分
先卷积再激活做BN
Conv+BN+Relu
Batch normalization 的 batch 是批数据, 把数据分成小批小批进行 stochastic gradient descent. 而且在每批数据进行前向传递 forward propagation 的时候, 对每一层都进行 normalization 的处理。
二、Layer Normalization(层归一化)
LN和BN不同,LN是根据样本的特征数来做归一化的,完全独立于batch size。在一个Layer中进行计算,可以理解是一个样本中进行Normalization,即计算范围是 [1, Channel, Height, Width],计算次数是 Batch。
常应用于循环神经网络(RNN)等结构,以解决对于不定长度序列的输入数据的归一化问题。
三、 Internal Covariate Shift
Internal Covariate Shift(内部协变量转移)是指神经网络在训练过程中每一层输入数据分布的变化,即随着网络参数的更新,每一层的输入数据的分布也会发生变化。这种内部协变量转移可能会导致训练过程变得更加困难,因为每一层都需要适应不断变化的输入数据分布。
Internal Covariate Shift 的问题在于,当神经网络每一层的输入数据的分布发生变化时,之前学习到的权重可能就不再适用,这会导致训练过程变得不稳定,需要更小的学习率和更仔细的调参来收敛。同时,由于每一层的输入数据分布的变化,网络可能需要更多的训练样本才能学到有效的表示。
为了解决 Internal Covariate Shift 的问题,批量归一化(Batch Normalization)被引入到神经网络中。批量归一化通过对每一层的输入数据进行归一化,使得每层的输入数据分布保持稳定,有助于加速训练过程、提高模型的泛化能力,并且减少对初始权重的依赖。
总结
-
BN的优点:
-
可以解决"Internal Covariate Shift"
-
解决梯度消失的问题(针对sigmoid),加快收敛速度。
-
对初始权重不那么敏感:BN 使得网络对初始权重的选择不那么敏感,减少了调参的困难。
-
BN的缺点:
- 计算代价:BN 需要额外的计算量来计算均值和方差,可能会增加训练时间。
- 不适用于小批量数据:在小批量数据上表现可能不稳定,因为均值和方差的估计可能不准确。
- LN的优点:
- 不依赖于batch size。
- 适用于RNN;
- LN的缺点:
- 不适用于CNN。
- 针对具有多个连续特征的数据,进行特征之间的缩放,可能会导致量纲差异消失。
- 局部归一化:LN 是在每个样本中所有特征的维度上进行归一化,可能会丢失通道间的信息,不够全局。
- 缓慢的收敛速度:相对于 BN,LN 可能导致收敛速度较慢,需要更多的训练时间。