optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零，这样tensor里面的grad就不会累加)
loss.backward()是用来求导的
optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数
上面的顺序步骤不能变
相关推荐
白白白飘5 小时前
pytorch 15.1 学习率调度基本概念与手动实现方法缘友一世7 小时前
PyTorch深度神经网络（前馈、卷积神经网络）墨绿色的摆渡人8 小时前
pytorch小记（二十）：深入解析 PyTorch 的 `torch.randn_like`：原理、参数与实战示例lqjun08278 小时前
Pytorch实现常用代码笔记qyhua8 小时前
用 PyTorch 从零实现简易GPT（Transformer 模型）墨绿色的摆渡人10 小时前
pytorch小记（二十一）：PyTorch 中的 torch.randn 全面指南lqjun082711 小时前
PyTorch实现CrossEntropyLoss示例小蜗笔记11 小时前
显卡、Cuda和pytorch兼容问题墨绿色的摆渡人15 小时前
pytorch小记（二十二）：全面解读 PyTorch 的 `torch.cumprod`——累积乘积详解与实战示例大模型铲屎官17 小时前
【Python-Day 14】玩转Python字典(上篇)：从零开始学习创建、访问与操作