Pytorch里面参数更新前为什么要梯度手动置为0?

因为在一般情况下,每次minibatch之后,都会计算得到一个loss,进而计算该loss关于全局参数的梯度。如果在下一次minibatch 进入模型,计算得到相应的loss和梯度之前,不对优化器的梯度进行置0操作,那么几次batch的梯度会有一个累积效应,影响模型参数的优化。

在每一次batch'训练完之后,计算得到loss损失函数和相应梯度,都会对模型参数进行调整,那么该batch数据在这一轮训练里面的作用已经完成了。我们不希望这些优化过模型参数的batch的loss梯度累积起来,继续对模型参数优化产生影响。

相关推荐
WenGyyyL14 小时前
基于昇腾平台的Qwen大模型推理部署实战:从模型转换到推理(含代码)
人工智能·python·语言模型·nlp·昇腾
Eric.Lee202114 小时前
ultralytics-yolo-webui 项目介绍及使用演示
人工智能·计算机视觉·目标跟踪·yolo目标检测·yolo-webui
AI魔王进化论.14 小时前
Transformer、强化学习融合?解决序列决策优化难题!!!
人工智能·深度学习·transformer
q***547514 小时前
解决no main manifest attribute错误
ide·python·pycharm
新加坡内哥谈技术14 小时前
如何在追求正确性的过程中,意外让路由匹配性能提升 20,000 倍
人工智能
代码小白的成长14 小时前
Windows: 调试基于千万短视频预训练的视频分类模型(videotag_tsn_lstm)
人工智能·rnn·lstm
北京青翼科技14 小时前
【PCIE044】基于复旦微 JFM7VX690T 的全国产化 FPGA 开发套件
图像处理·人工智能·fpga开发·信号处理·智能硬件
智算菩萨14 小时前
《自动驾驶与大模型融合新趋势:端到端感知-决策一体化架构分析》
人工智能·架构·自动驾驶
8K超高清14 小时前
超高清科技引爆中国电影向“新”力
大数据·运维·服务器·网络·人工智能·科技
申耀的科技观察14 小时前
【观察】为AI就绪筑基,为产业智能引路,联想凌拓铺就AI规模化落地通途
人工智能·百度