文章目录
-
- 一、梯度消失和梯度爆炸产生原理
- [二、如何判断梯度消失 / 梯度爆炸](#二、如何判断梯度消失 / 梯度爆炸)
- 三、梯度消失、梯度爆炸解决方案表格
- 四、补充知识点
一、梯度消失和梯度爆炸产生原理
反向传播依靠链式求导，多层导数连续相乘。
- 梯度消失
成因：多层sigmoid/tanh，激活函数导数恒小于1，多层连乘后梯度不断缩小；ReLU场景下大量神经元输入长期小于0，导数恒为0，产生Dead ReLU。
现象：训练不会出现NaN，loss下降一段后卡在较高平台 ，很难继续下降；浅层梯度L2范数趋近于0，权重几乎不更新，只有靠近输出的深层参数能学习。 - 梯度爆炸
成因：权重矩阵的数值尺度偏大，链式相乘不断放大梯度；ReLU/GELU导数最大为1，没有天然压缩梯度的能力。
现象：梯度数值巨大；轻度爆炸时loss大幅度忽高忽低震荡；严重时浮点数溢出变成inf，进一步运算生成NaN；一旦梯度出现NaN，更新后的权重变成NaN，下一轮loss直接NaN，训练崩溃。
补充：临近溢出但还未NaN时，有可能短暂出现loss下降，但很快会震荡恶化。
二、如何判断梯度消失 / 梯度爆炸
| 类型 | Loss曲线特征 | 核心验证（监控梯度L2范数） | 其他辅助证据 |
|---|---|---|---|
| 梯度消失 | loss下降一段后卡在高位，仅小幅抖动，不会大幅度跳升到很高的值 | 浅层梯度接近0，深层梯度正常 | ReLU网络大量神经元激活值恒等于0（dead神经元） |
| 梯度爆炸 | loss大幅度剧烈震荡，高低差距巨大；严重直接出现inf、NaN | 梯度L2范数持续异常偏大 | 混合精度训练溢出、loss突然跳涨 |
重要提醒：loss卡住不一定就是梯度消失，必须看梯度范数；正常收敛是loss降到低位小幅抖动，不属于二者。
三、梯度消失、梯度爆炸解决方案表格
| 方案 | 主要解决问题 | 原理简述 | 使用场景与时机 | 备注 |
|---|---|---|---|---|
| 合适权重初始化（He/Xavier） | 梯度消失、梯度爆炸（预防） | 控制初始权重的尺度，让网络初始阶段每层输出/梯度保持在合理范围，避免一开始就放大/压缩梯度 | 搭建模型阶段，训练前就配置 ReLU网络→He；sigmoid/tanh→Xavier | 无计算开销，属于基础标配 |
| 更换激活函数：ReLU / LeakyReLU / GELU | 梯度消失（重点），轻微辅助稳定梯度 | sigmoid/tanh导数在两端趋近于0；ReLU类在正区间导数=1，缓解多层链式连乘带来的梯度衰减 | 搭建模型时选定，替换sigmoid/tanh | ReLU会产生Dead ReLU，LeakyReLU/GELU是改良版本 |
| 归一化层：BN / LayerNorm / RMSNorm | 梯度消失为主，辅助缓解梯度爆炸 | 将每层特征标准化，稳定每层输入分布，防止数值尺度持续漂移，稳定反向传播梯度 | 搭建模型时嵌入网络结构 CNN用BN；Transformer用LayerNorm/RMSNorm | BN依赖batch，小batch效果差；LN/RMSNorm不依赖batch |
| 残差连接（ResNet结构） | 梯度消失（重点） | 提供一条近似恒等映射的直连通路，梯度可以直接绕过多层非线性层反向传回浅层，打断链式连乘的衰减 | 搭建模型时写进网络结构，深层网络标配 | Transformer的Pre-LN+残差也是同类思路 |
| 梯度裁剪 Gradient Clipping | 梯度爆炸（兜底方案） | 反向传播算出梯度后，若梯度L2范数超过阈值，保持梯度方向不变，等比例缩放梯度大小，防止参数更新步长过大 | 大模型/RNN：训练脚本预置 普通CNN：出现loss剧烈震荡时再加 | 只限制梯度大小，不解决梯度消失 |
| L2正则（Weight Decay权重衰减） | 梯度爆炸（辅助），同时抑制过拟合 | 在损失中增加权重平方项，惩罚过大的权重，限制权重矩阵整体尺度，避免权重持续变大放大梯度 | 一般训练初期就设置较小系数 | 属于优化器参数，不是网络层；对梯度消失改善有限 |
| 降低学习率 / 学习率衰减 | 梯度爆炸、loss震荡，也辅助稳定训练 | 减小参数每次更新的步长，防止参数在参数空间来回大幅跳跃 | 训练前预设，训练后期可衰减 | 学习率过大是loss剧烈震荡最常见原因，不是专门解决梯度消失 |
| 减少网络层数 | 梯度消失 | 缩短反向传播链式长度，减少多层导数连乘的次数 | 模型设计阶段权衡 | 代价：降低模型容量，效果上限下降 |
四、补充知识点
- BN：按通道，跨batch所有样本全部像素统计均值方差；适合CNN，batch太小会失效。
- LayerNorm：对每个token自身hidden维度归一化，不跨token、不依赖batch；RMSNorm是其变体，仅做缩放，无平移，向量方向不变；大模型主流使用。
Transformer隐空间中，token语义相似度主要由向量方向（余弦夹角）决定，向量模长影响相对更小。
- 组件添加时机区分
- 模型骨架类（初始化、Norm、残差）：写模型代码时就要嵌入，不能等训练崩了临时插入；
- Weight Decay：常规训练一开始就设置小系数；
- 梯度裁剪：大模型默认提前加上兜底；普通小CNN可以先不加，出现梯度爆炸/剧烈震荡再加。
- 工程认知：这些方案全部是缓解手段，无法100%根治。就算全部配置到位，训练依然可能不稳定；并且梯度正常，也不代表模型一定能收敛（数据脏、损失设计、优化曲面、过拟合都会影响效果）。