Pytorch里面参数更新前为什么要梯度手动置为0?

因为在一般情况下,每次minibatch之后,都会计算得到一个loss,进而计算该loss关于全局参数的梯度。如果在下一次minibatch 进入模型,计算得到相应的loss和梯度之前,不对优化器的梯度进行置0操作,那么几次batch的梯度会有一个累积效应,影响模型参数的优化。

在每一次batch'训练完之后,计算得到loss损失函数和相应梯度,都会对模型参数进行调整,那么该batch数据在这一轮训练里面的作用已经完成了。我们不希望这些优化过模型参数的batch的loss梯度累积起来,继续对模型参数优化产生影响。

相关推荐
外收内放6 分钟前
Python基础语法练习题(73)
java·前端·python
锋行天下24 分钟前
Langgraph HITL 中断运行,用户输入后输出打字效果
人工智能·python
ZhengEnCi29 分钟前
agent 为什么需要自进化:从静态模型到经验驱动的持续成长
人工智能
QXWZ_IA36 分钟前
RTK平面很准、高程总飘,问题出在哪
人工智能
Ferries44 分钟前
用 WorkBuddy+DeepSeek 跑了30天自动矩阵,事情没那么简单
人工智能·aigc·vibecoding
时早玖沐1 小时前
给 AstrBot 写一个天气推送插件:12 次提交、6 个坑
python·开源·ai编程
触底反弹1 小时前
🚀 FastAPI 五大重难点深度剖析:从 500 报错到彻底搞懂 Depends、Pydantic 与 SQLAlchemy
python·fastapi
用户837133200761 小时前
AI总是会忘记细节咋办?我用GitHub实现外部记忆管理
人工智能·github
谁在黄金彼岸1 小时前
OCR 方案对比:本地多模态可行吗?
人工智能
cpolar技术支持1 小时前
网关加 gzip,同时开启 chunked,下载回来的包解不开:把两层编码的解压顺序与长度核对做成只读页
python·http·网络编程·socket·内网穿透