optimizer和loss.backward()相关函数

optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零,这样tensor里面的grad就不会累加)

loss.backward()是用来求导的

optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数

上面的顺序步骤不能变

相关推荐
操练起来17 小时前
【昇腾CANN训练营·第八期】Ascend C生态兼容:基于PyTorch Adapter的自定义算子注册与自动微分实现
人工智能·pytorch·acl·昇腾·cann
AI即插即用4 天前
即插即用系列 | 2025 MambaNeXt-YOLO 炸裂登场!YOLO 激吻 Mamba,打造实时检测新霸主
人工智能·pytorch·深度学习·yolo·目标检测·计算机视觉·视觉检测
忘却的旋律dw4 天前
使用LLM模型的tokenizer报错AttributeError: ‘dict‘ object has no attribute ‘model_type‘
人工智能·pytorch·python
studytosky4 天前
深度学习理论与实战:MNIST 手写数字分类实战
人工智能·pytorch·python·深度学习·机器学习·分类·matplotlib
小女孩真可爱4 天前
大模型学习记录(五)-------调用大模型API接口
pytorch·深度学习·学习
Predestination王瀞潞5 天前
Windows环境下Pytorch的配置
人工智能·pytorch·python
夫唯不争,故无尤也5 天前
PyTorch 的维度变形一站式入门
人工智能·pytorch·python
nix.gnehc5 天前
PyTorch
人工智能·pytorch·python
z樾5 天前
TorchRL-MADDPG
pytorch·python·深度学习
夫唯不争,故无尤也5 天前
梯度累计原理:数学可行性与PyTorch实现
人工智能·pytorch·python