【机器学习】【深度学习】批量归一化(Batch Normalization)

概念简介

归一化指的是将数据缩放到一个固定范围内,通常是 0, 1,而标准化是使得数据符合标准正态分布。归一化的作用是使不同特征具有相同的尺度,从而使模型训练更加稳定和快速,尤其是对于使用梯度下降法的算法。而标准化的作用加快模型收敛速度,提高模型的性能。

批量归一化用于加速神经网络的训练并提高模型的稳定性。它在每个批次的数据上进行标准化,通过对每层的输入进行归一化处理,使得网络中间层的激活值保持在一个较小的范围内,有助于加速模型的收敛,同时减少了梯度消失和爆炸的问题。所以批量归一化特别适合深层网络。

为什么需要归一化

例如上边这个例子,右图神经网络有两个输入,分别是从3-34和从0-1000的范围。

输入范围的巨大差异会导致在前向传播和反向传播过程中,激活函数的输出也会有很大的波动。如果激活函数是非线性的,大范围输入可能会导致梯度消失或梯度爆炸问题。

输入范围的巨大差异也会导致损失函数在不同维度上的梯度变化不一致,使得优化算法难以有效收敛。

对输入使用归一化可以缓解以上问题,但是在训练后期仍可能出现梯度消失或梯度爆炸问题。这时我们就需要使用批量归一化了。

批量归一化层

批量归一化所做的是仅标准化输入,然后将数据输入到网络中,在网络中所有层的所有输出进行标准化,也就是每层之间都有批量归一化层。它所做的就是标准化数据并做一些其他的工作,然后输出给下一层。

加入批量归一化层的优点

稳定和加速训练过程:归一化减少了不同层之间输入数据分布的变化。

减少梯度消失和爆炸问题:保持零均值和单位方差。

起到轻微正则化的效果:每个小批量的均值和方差略有不同,微小随机性类似于Dropout正则化。

降低对权重初始化的敏感性:减少了调参的难度。

适用于更深的神经网络:深度神经网络往往面临梯度消失或爆炸的问题。

相关推荐
威哥爱编程4 分钟前
模拟面试智能体开发实战 11:报告只躺在后端怎么复盘,把总评搬上手机还要适配大小屏
python·agent·harmonyos
对你无可奈何33 分钟前
把零散的模型用起来:Magpie 接入 Trae,再折腾两个池子
人工智能
七夜zippoe1 小时前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
2601_967987371 小时前
Python 实现行为驱动开发 (BDD) 自动化测试详解
自动化测试·python·bdd·behave·gherkin
AI导出鸭PC端1 小时前
纳米AI怎么复制表格?对话导出总是格式崩塌,我用“AI 导出鸭”重构了工作流
人工智能·重构·豆包·ai导出鸭
AI导出鸭PC端1 小时前
用 AI 导出鸭高效处理:豆包导 pdf 怎么压缩但清晰
android·人工智能·pdf·豆包·ai导出鸭
装不满的克莱因瓶1 小时前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
数字融合2 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
屿华AI2 小时前
AUTOSAR 实战-诊断工具 | DTC/Event/FiM 故障报告自动化:DEM 诊断数据采集与解析
python·测试工具·自动化·汽车
贝壳6903 小时前
9.13.12 那三个新功能,我一个一个跑了一遍:两个真香,一个有前提
python