Pytorch里面参数更新前为什么要梯度手动置为0?

因为在一般情况下,每次minibatch之后,都会计算得到一个loss,进而计算该loss关于全局参数的梯度。如果在下一次minibatch 进入模型,计算得到相应的loss和梯度之前,不对优化器的梯度进行置0操作,那么几次batch的梯度会有一个累积效应,影响模型参数的优化。

在每一次batch'训练完之后,计算得到loss损失函数和相应梯度,都会对模型参数进行调整,那么该batch数据在这一轮训练里面的作用已经完成了。我们不希望这些优化过模型参数的batch的loss梯度累积起来,继续对模型参数优化产生影响。

相关推荐
只说证事1 分钟前
中专计算机专业必考的证书清单有哪些?
人工智能
臭东西的学习笔记7 分钟前
论文学习——通过蛋白质片段-环境比对实现自我监督口袋预训练
人工智能
6+h8 分钟前
【java】基本数据类型与包装类:拆箱装箱机制
java·开发语言·python
GDAL32 分钟前
MANIFEST.in简介
linux·服务器·前端·python
飞Link1 小时前
梯度下降的优化算法中,动量算法和指数加权平均的区别对比
人工智能·深度学习·算法
1941s1 小时前
02-LangChain 框架入门:模型抽象与 Prompt 模板
人工智能·langchain·prompt
MoRanzhi12031 小时前
pillow 图像合成、透明叠加与蒙版处理
python·计算机视觉·pillow·图片处理·图像合成·透明叠加·多图层叠加
猫咪老师19951 小时前
Claude Code从零开始不敲代码使用若依java框架开发-第1节部署篇
人工智能·claude code
冬奇Lab1 小时前
OpenClaw 实战:SKILL安装极简指南,让你的 Agent 真正干活
人工智能·aigc
双叶8361 小时前
(Python)Python爬虫入门教程:从零开始学习网页抓取(爬虫教学)(Python教学)
后端·爬虫·python·学习