optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零，这样tensor里面的grad就不会累加)
loss.backward()是用来求导的
optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数
上面的顺序步骤不能变
相关推荐
Kusunoki_D2 小时前
PyTorch 环境配置Virgil13916 小时前
【TrOCR】模型预训练权重各个文件解读赵英英俊1 天前
Python day51爱学习的小道长1 天前
神经网络中 标量求导和向量求导伊织code1 天前
PyTorch - Developer Notes钢铁男儿1 天前
使用 TensorBoardX 实现 PyTorch 神经网络可视化：从入门到进阶伊织code2 天前
PyTorch API 6范男2 天前
基于Pytochvideo训练自己的的视频分类模型伊织code2 天前
PyTorch API 7聚客AI2 天前
深度拆解AI大模型从训练框架、推理优化到市场趋势与基础设施挑战