optimizer和loss.backward()相关函数

optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零,这样tensor里面的grad就不会累加)

loss.backward()是用来求导的

optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数

上面的顺序步骤不能变

相关推荐
靴子学长27 分钟前
Decoder only 架构下 - KV cache 的理解
pytorch·深度学习·算法·大模型·kv
独隅2 小时前
PyTorch 模型性能优化:图像分类与 NLP 模型实战指南
pytorch·性能优化·分类
Narrastory2 小时前
明日香 - Pytorch 快速入门保姆级教程(九)
人工智能·pytorch·深度学习
AI视觉网奇4 小时前
vllm 踩坑记录 算力匹配
pytorch·python·深度学习
剑穗挂着新流苏3126 小时前
202_深度学习的动力源泉:矩阵微积分与自动求导 (Autograd)
人工智能·pytorch·python·深度学习·神经网络
每天吃的很好的Ruby7 小时前
报错ValueError: sampler option is mutually exclusive with shuffle
人工智能·pytorch·python
Chasing Aurora10 小时前
Python后端开发之旅(五)——DL
开发语言·pytorch·python·深度学习
AI-Ming11 小时前
程序员转行学习 AI 大模型: 模型微调| 附清晰概念分类
人工智能·pytorch·深度学习·机器学习·chatgpt·nlp·gpt-3
盼小辉丶11 小时前
PyTorch实战(39)——使用Captum解释深度学习模型
pytorch·深度学习·模型解释
li99yo16 小时前
3DGS的复现
图像处理·pytorch·经验分享·python·3d·conda·pip