optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零，这样tensor里面的grad就不会累加)
loss.backward()是用来求导的
optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数
上面的顺序步骤不能变
相关推荐
ZHOU_WUYI2 小时前
LLMs-from-scratch ：embeddings 与 linear-layers 的对比雲_kumo3 小时前
从零开始读懂Transformer：架构解析与PyTorch实现起个名字费劲死了4 小时前
Pytorch Yolov11目标检测+Android部署 留贴记录Francek Chen1 天前
【深度学习计算机视觉】12：风格迁移A-大程序员1 天前
【Pytorch】分类问题交叉熵董建光d1 天前
PyTorch 实现多种 CNN 模型并采用集成方法提升 CIFAR-10 分类性能JJJJ_iii1 天前
【机器学习03】学习率与特征工程、多项式回归、逻辑回归LiJieNiub2 天前
基于 PyTorch 实现 MNIST 手写数字识别chxin140162 天前
Transformer注意力机制——动手学深度学习10MYX_3092 天前
第五章 神经网络的优化