optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零，这样tensor里面的grad就不会累加)
loss.backward()是用来求导的
optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数
上面的顺序步骤不能变
相关推荐
love_and_hope3 小时前
Pytorch学习--神经网络--搭建小实战（手撕CIFAR 10 model structure）和 Sequential 的使用好喜欢吃红柚子10 小时前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析（SE,CBAM,SGE,CA,ECA,TA）羊小猪~~10 小时前
神经网络基础--什么是正向传播？？什么是方向传播？？写代码的小阿帆13 小时前
pytorch实现深度神经网络DNN与卷积神经网络CNN丕羽1 天前
【Pytorch】基本语法Shy9604182 天前
Pytorch实现transformer语言模型周末不下雨2 天前
跟着小土堆学习pytorch（六）——神经网络的基本骨架(nn.model)蜡笔小新星2 天前
针对初学者的PyTorch项目推荐矩阵猫咪2 天前
【深度学习】时间序列预测、分类、异常检测、概率预测项目实战案例zs1996_2 天前
深度学习注意力机制类型总结&pytorch实现代码