optimizer和loss.backward()相关函数

optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零,这样tensor里面的grad就不会累加)

loss.backward()是用来求导的

optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数

上面的顺序步骤不能变

相关推荐
weixin_448781622 小时前
DenseNet算法 实现乳腺癌识别
pytorch·深度学习·神经网络
2301_805054563 小时前
Python训练营打卡Day48(2025.6.8)
pytorch·python·深度学习
scdifsn18 小时前
动手学深度学习12.7. 参数服务器-笔记&练习(PyTorch)
pytorch·笔记·深度学习·分布式计算·数据并行·参数服务器
海盗儿19 小时前
Attention Is All You Need (Transformer) 以及Transformer pytorch实现
pytorch·深度学习·transformer
聚客AI1 天前
PyTorch玩转CNN:卷积操作可视化+五大经典网络复现+分类项目
人工智能·pytorch·神经网络
YYXZZ。。1 天前
PyTorch——优化器(9)
pytorch·深度学习·计算机视觉
点云SLAM1 天前
PyTorch 中contiguous函数使用详解和代码演示
人工智能·pytorch·python·3d深度学习·contiguous函数·张量内存布局优化·张量操作
西猫雷婶1 天前
pytorch基本运算-导数和f-string
人工智能·pytorch·python
顽强卖力1 天前
第二十八课:深度学习及pytorch简介
人工智能·pytorch·深度学习
述雾学java1 天前
深入理解 transforms.Normalize():PyTorch 图像预处理中的关键一步
人工智能·pytorch·python