深度学习八股文：混合精度训练过程出nan怎么办

运气好到爆2023-11-24 17:26

其实如果是FP32的训练，基本的调试方法还是差不多，这里就讲一下混合精度训练过程中的nan。

混合精度训练使用较低的数值精度（通常是半精度浮点数，例如FP16）来加速模型训练，但在一些情况下，可能会引发数值不稳定性的问题，导致 NaN 的出现。处理混合精度训练中的 NaN 问题时，可以考虑以下步骤：

数值检查： 在训练过程中，定期检查模型参数、梯度等是否包含 NaN 或 Inf（无穷大）值。你可以在训练循环中添加断言语句，及时发现异常值

复制代码

assert not torch.isnan(model.parameters()).any(), "Model parameters contain NaN!"

梯度缩放（Gradient Scaling）： 在混合精度训练中，通常会使用梯度缩放来抵消使用较低精度带来的梯度范围减小的问题。你可以尝试调整梯度缩放的比例。

复制代码

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

注意，相比与前向出nan，混合精度训练会多一个梯度缩放的过程，这个是前向没有出nan的前提下实现的，影响的梯度更新：

前向计算过程中没有nan，loss算完后，乘以scale后导致inf，这时候再往后反向传播出nan了，那在梯度更新的时候就会在梯度更新前进行数值检查，check finite and unscale过程会去检查权重的梯度发现有nan或者inf就会跳过更新，此时就可以调整scale的值，把scale降低，然后跑下一个step的前向。如果scale调整后，乘以loss，没有inf，就调成功了，继续正常更新参数，如果还是inf就得继续调小scale