一次解决Pytorch训练时损失和参数出现Nan或者inf的经历

目前在做实验,参考了一个新的网络架构之后发现训练时损失出现Nan,参数了出现了inf的情况,先说说我的排查经历。

首先肯定是打印损失,损失是最容易出现Nan的,有各种原因,网上也有很多解决办法,我这里就不一一赘述了,大伙打开CSDN就一搜就有很多很全的

我的问题是在训练的中间参数中出现了inf,导致最终的损失为NaN或者inf

用下面的代码判断参数是否出现了NaN或者inf

python 复制代码
for i in range(5):   # exam是一个参数列表
    if torch.isnan(exeam[i]).any(): print('下表为{}的元素存在NaN!'.format(i))
    if torch.isinf(exeam[i]).any(): print('下表为{}的元素存在inf!'.format(i))

确定是哪些为NaN之后,直接上Relu或者归一化,很可惜,没用。。。

我参考的文章是这两篇

Vision Transformers for Single Image Dehazing

MixDehazeNet : Mix Structure Block For Image Dehazing Network
这两篇文章中都用到了soft reconstruction。现在我还搞不明白这东西是啥
模仿论文MixDehazeNet的代码,将生成的参数按照下面的代码计算下

python 复制代码
# feat是网络输出的结果,10通道
K, atp, tran, B = torch.split(feat, (1, 3, 3, 3), dim=1)

# x是网络的输入
atp = K * atp - atp + x
tran = K * tran - tran + x
x = K * x - B + x
# H, W是限定的尺寸
rgb = x[:, :, :H, :W]
atp = atp[:, :, :H, :W]
tran = tran[:, :, :H, :W]

这样一弄,问题就解决了

我分析了下原因,代码中的参数出现NaN是因为出现了除以0的情况,加上了soft reconstruction之后(类似于全局残差,关键是后面加上x的那个操作)是原先为0的参数变得不为0了,除以0的情况消失了,就不存在NaN啦。

我是做视觉方向的,全局残差机制(ResNet,FFA-Net)在视觉中可谓是有百利而无一害,所以这样加应该没问题的

疑问
soft reconstruction究竟是什么东西呢?网上的资料甚少,chatGPT也没有给出完全的定义。
还请知道的大佬不吝赐教。

相关推荐
寒月霜华1 小时前
机器学习-数据标注
人工智能·机器学习
paid槮2 小时前
机器视觉之图像处理篇
图像处理·opencv·计算机视觉
九章云极AladdinEdu2 小时前
超参数自动化调优指南:Optuna vs. Ray Tune 对比评测
运维·人工智能·深度学习·ai·自动化·gpu算力
研梦非凡5 小时前
ICCV 2025|从粗到细:用于高效3D高斯溅射的可学习离散小波变换
人工智能·深度学习·学习·3d
Godspeed Zhao5 小时前
自动驾驶中的传感器技术46——Radar(7)
人工智能·机器学习·自动驾驶
limengshi1383926 小时前
机器学习面试:请介绍几种常用的学习率衰减方式
人工智能·学习·机器学习
通街市密人有7 小时前
IDF: Iterative Dynamic Filtering Networks for Generalizable Image Denoising
人工智能·深度学习·计算机视觉
智数研析社7 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
救救孩子把7 小时前
2-机器学习与大模型开发数学教程-第0章 预备知识-0-2 数列与级数(收敛性、幂级数)
人工智能·数学·机器学习
sali-tec7 小时前
C# 基于halcon的视觉工作流-章34-环状测量
开发语言·图像处理·算法·计算机视觉·c#