技术栈

optimizer和loss.backward()相关函数

小宋加油啊2023-09-12 15:01

optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零,这样tensor里面的grad就不会累加)

loss.backward()是用来求导的

optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数

上面的顺序步骤不能变

上一篇:电工-PN结的工作原理
下一篇:导航url链接中获取参数
相关推荐
化作星辰
8 小时前
深度学习_原理和进阶_PyTorch入门(2)后续语法3
人工智能·pytorch·深度学习
希露菲叶特格雷拉特
19 小时前
PyTorch深度学习笔记(二十)(模型验证测试)
人工智能·pytorch·笔记
NewsMash
19 小时前
PyTorch之父发离职长文,告别Meta
人工智能·pytorch·python
领航猿1号
1 天前
Pytorch 内存布局优化:Contiguous Memory
人工智能·pytorch·深度学习·机器学习
化作星辰
1 天前
使用房屋价格预测的场景,展示如何从多个影响因素计算权重和偏置的梯度
pytorch·深度学习
kyle-fang
2 天前
pytorch-张量
人工智能·pytorch·python
woshihonghonga
2 天前
Dropout提升模型泛化能力【动手学深度学习:PyTorch版 4.6 暂退法】
人工智能·pytorch·python·深度学习·机器学习
Danceful_YJ
2 天前
28. 门控循环单元(GRU)的实现
pytorch·python·深度学习
2401_83690033
2 天前
PyTorch图像分割训练全流程解析
pytorch·模型训练
三排扣
2 天前
手搓transformer
pytorch·python·transformer
热门推荐
01GitHub 镜像站点02UV安装并设置国内源03BongoCat - 跨平台键盘猫动画工具04综合整理:pdf预览显示:你尝试预览的文件可能对你的计算机有害。如果你信任此文件以及其来源,请打开此文件以看其内容,如何解决以正常预览文件05Linux下V2Ray安装配置指南06jdk21下载、安装(Windows、Linux、macOS)07安娜的档案(Anna’s Archive) 镜像网站/国内最新可访问入口(持续更新)08npm使用国内淘宝镜像的方法09PyCharm 社区版全平台安装指南10NVIDIA显卡驱动、CUDA、cuDNN 和 TensorRT 版本匹配指南