optimizer和loss.backward()相关函数

optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零,这样tensor里面的grad就不会累加)

loss.backward()是用来求导的

optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数

上面的顺序步骤不能变

相关推荐
l12345sy2 天前
Day24_【深度学习—广播机制】
人工智能·pytorch·深度学习·广播机制
蒋星熠3 天前
如何在Anaconda中配置你的CUDA & Pytorch & cuNN环境(2025最新教程)
开发语言·人工智能·pytorch·python·深度学习·机器学习·ai
weiwei228443 天前
Torch核心数据结构Tensor(张量)
pytorch·tensor
wL魔法师3 天前
【LLM】大模型训练中的稳定性问题
人工智能·pytorch·深度学习·llm
技术小黑3 天前
Transformer系列 | Pytorch复现Transformer
pytorch·深度学习·transformer
DogDaoDao3 天前
神经网络稀疏化设计构架方法和原理深度解析
人工智能·pytorch·深度学习·神经网络·大模型·剪枝·网络稀疏
西猫雷婶3 天前
pytorch基本运算-Python控制流梯度运算
人工智能·pytorch·python·深度学习·神经网络·机器学习
ACEEE12224 天前
Stanford CS336 | Assignment 2 - FlashAttention-v2 Pytorch & Triotn实现
人工智能·pytorch·python·深度学习·机器学习·nlp·transformer
深耕AI4 天前
【PyTorch训练】准确率计算(代码片段拆解)
人工智能·pytorch·python
nuczzz4 天前
pytorch非线性回归
人工智能·pytorch·机器学习·ai