【调试Bug】网络在训练中输出NaN

首先情况是开始训练正常,网络也在更新,更新后网络就输出了NaN。调试过程:

1. 查看模型权重更新前后的值

复制代码
    print("更新前权重信息:")
    print(f"  权重均值: {fc2.weight.mean().item() if not torch.isnan(fc2.weight.mean()) else 'NaN'}")
    print(f"  最大值: {fc2.weight.max().item() if not torch.isnan(fc2.weight.max()) else 'NaN'}")
    print(f"  最小值: {fc2.weight.min().item() if not torch.isnan(fc2.weight.min()) else 'NaN'}\n")

    权重更新


    print("更新后权重信息:")
    print(f"  权重均值: {fc2.weight.mean().item() if not torch.isnan(fc2.weight.mean()) else 'NaN'}")
    print(f"  最大值: {fc2.weight.max().item() if not torch.isnan(fc2.weight.max()) else 'NaN'}")
    print(f"  最小值: {fc2.weight.min().item() if not torch.isnan(fc2.weight.min()) else 'NaN'}\n")

判断标准:

  • 权重 / 偏置的绝对值如果超过1e4,可能导致输出过大。
  • 若训练中权重突然变得极大,说明可能存在梯度爆炸。

2. 发现权重更新前正常,更新后NaN

权重在参数更新后变成了NaN,这说明问题出在反向传播和参数更新环节(梯度计算或优化器步骤导致权重被更新为异常值)。

原因分析:

权重从正常数值突然变成NaN,几乎可以确定是梯度爆炸导致的:

  • 反向传播时计算出的梯度为NaN或极端大值(如1e20),优化器用这些异常梯度更新权重,直接导致权重变成NaN。
  • 常见触发点:损失函数计算异常(如NaN损失)、输入数据极端值导致中间激活值爆炸、学习率过高放大梯度影响。

第一步 检查损失函数是否为NaN

如果损失本身输出是NaN,反向传播的梯度必然是NaN,直接导致权重更新异常。在反向传播前检查损失需要。

损失为NaN的常见原因:

  • 损失中包含log(0)(如nn.Softmax输出接近 0 时,torch.log(prob)会趋近于-inf)

结果:发现正是损失函数torch.log输出了NaN。

3 解决

限制torch.log的值,NaN的问题得到了解决

相关推荐
努力的MM12310 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI10 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健11 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
不会武功不懂江湖11 小时前
RISC-V链接器与链接脚本
汇编·算法·risc-v
stormzhangV11 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七11 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端
阿里云大数据AI技术11 小时前
阿里云 Milvus 场景中心|一键部署你的AI应用
人工智能
京东云开发者11 小时前
Agent 研发工作系统:面向多需求并行端到端开发的设计与实践
人工智能
Zwawa12 小时前
卡尔曼到底在算什么:从一维到它的变式以及工程版卡尔曼滤波算法C语言实现
c语言·算法·嵌入式
电科_银尘12 小时前
【大模型算法与工程 14】Tokenizer与Embedding:文本如何变成模型输入
算法·embedding