记.backward()报错

最近我在模型训练损失里加入了LPIPS深度感知损失,训练的时候就出现了如上的报错,具体解释为:调用梯度反向传播loss.backward()时,我们计算梯度,需要一个标量的loss(即该loss张量的维度为1,只包含一个元素);而LPIPS的输出的loss为一个[4,1,1,1]的4维张量(batch_size,c,h,w),因此报错。

修正:

python 复制代码
def lpips_loss(img1, img2):
    # loss_fn_alex = lpips.LPIPS(net='alex')  # best forward scores
    loss_fn_vgg = lpips.LPIPS(net='vgg')  # closer to "traditional" perceptual loss, when used for optimization
    loss_fn_vgg.cuda()
    loss = loss_fn_vgg.forward(img1, img2)
    loss = torch.mean(loss)
    return loss

参考:

grad can be implicitly created only for scalar outputs-CSDN博客https://blog.csdn.net/qq_39208832/article/details/117415229
lpips · PyPIhttps://pypi.org/project/lpips/

相关推荐
大模型任我行2 小时前
阿里:揭示RLVR训练不稳定性根源
人工智能·语言模型·自然语言处理·论文笔记
沃达德软件6 小时前
视频增强技术解析
人工智能·目标检测·机器学习·计算机视觉·超分辨率重建
魔乐社区6 小时前
GLM-5上线魔乐社区,基于昇腾的模型推理+训练部署教程请查收!
人工智能·开源·大模型
geneculture7 小时前
化繁为简且以简驭繁:唯文论英汉对照哲学术语49个主义/论
人工智能·融智学的重要应用·哲学与科学统一性·信息融智学·融智时代(杂志)
睡醒了叭7 小时前
coze-工作流-http请求
人工智能·aigc
twilight_4698 小时前
机器学习与模式识别——机器学习中的搜索算法
人工智能·python·机器学习
冰西瓜6008 小时前
深度学习的数学原理(十)—— 权重如何自发分工
人工智能·深度学习·计算机视觉
niuniudengdeng8 小时前
基于时序上下文编码的端到端无文本依赖语音分词模型
人工智能·数学·算法·概率论
Soonyang Zhang9 小时前
flashinfer attention kernel分析
人工智能·算子·推理框架
林籁泉韵79 小时前
2026年GEO服务商推荐:覆盖多场景适配,助力企业AI时代增长
人工智能