optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零，这样tensor里面的grad就不会累加)
loss.backward()是用来求导的
optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数
上面的顺序步骤不能变
相关推荐
Soonyang Zhang8 小时前
根据时戳从pytorch trace中获取kernel信息承渊政道12 小时前
【从零开始大模型开发与微调:基于PyTorch与ChatGLM】(开源大模型ChatGLM使用详解)129Lab1 天前
电池热管理仿真的AI加速：用Python+PINN物理信息神经网络替代传统CFD的可行性探索Είναι η κοπέλα1 天前
llama.cpp 与 GGUF 格式：本地大模型的“裸引擎“头发够用的程序员2 天前
TensorRT 自定义算子插件实战（三）：手搓 2×2 最大池化 customMaxpoolfor_ever_love__2 天前
PyTorch 张量与 autograd——自动求导怎么工作Είναι η κοπέλα3 天前
显存计算与模型选择：你的显卡能跑多大的模型海天一色y4 天前
模型部署的「通用语」：ONNX 转换Thomas.Sir4 天前
第26课：工业零部件外观缺陷检测系统：从学术Demo到产线工程的重构实战Zguigo5 天前
【CUDA6】CUDA Stream 是什么,为什么 CUDA 是异步执行,如何正确测量 GPU 时间以及多个任务如何重叠执行