记.backward()报错

最近我在模型训练损失里加入了LPIPS深度感知损失,训练的时候就出现了如上的报错,具体解释为:调用梯度反向传播loss.backward()时,我们计算梯度,需要一个标量的loss(即该loss张量的维度为1,只包含一个元素);而LPIPS的输出的loss为一个[4,1,1,1]的4维张量(batch_size,c,h,w),因此报错。

修正:

python 复制代码
def lpips_loss(img1, img2):
    # loss_fn_alex = lpips.LPIPS(net='alex')  # best forward scores
    loss_fn_vgg = lpips.LPIPS(net='vgg')  # closer to "traditional" perceptual loss, when used for optimization
    loss_fn_vgg.cuda()
    loss = loss_fn_vgg.forward(img1, img2)
    loss = torch.mean(loss)
    return loss

参考:

grad can be implicitly created only for scalar outputs-CSDN博客https://blog.csdn.net/qq_39208832/article/details/117415229
lpips · PyPIhttps://pypi.org/project/lpips/

相关推荐
weixin_446260853 分钟前
AI 自动化编程的现状与局限
运维·人工智能·自动化
IT古董1 小时前
【机器学习】机器学习的基本分类-自监督学习-对比学习(Contrastive Learning)
人工智能·学习·机器学习·分类
记录&日常1 小时前
三、AI知识(自然语言处理)
人工智能·自然语言处理
hao_wujing1 小时前
LLaMA 2开放基础和微调聊天模型
服务器·人工智能·llama
hao_wujing1 小时前
LLaMA:开放和高效的基础语言模型集
人工智能·语言模型·llama
风雅GW1 小时前
本地LLM部署--llama.cpp
linux·c++·人工智能·python·docker·llama
林泽毅1 小时前
SwanLab x LLaMA Factory:国产开源AI训练工具组合拳(含教程)
人工智能·python·机器学习·开源·大模型·llama·swanlab
Thmos_vader1 小时前
【ADAS】高级驾驶辅助系统
人工智能·车载系统·汽车·adas
致Great2 小时前
揭秘o1类模型的过度思考:明明只需5个token,它偏要用900个?
人工智能·llm
【建模先锋】2 小时前
涨点创新 | 基于 Informer-LSTM的并行预测模型
人工智能·rnn·深度学习·lstm·informer·风速预测·时间序列预测模型