技术栈

optimizer和loss.backward()相关函数

小宋加油啊2023-09-12 15:01

optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零,这样tensor里面的grad就不会累加)

loss.backward()是用来求导的

optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数

上面的顺序步骤不能变

上一篇:电工-PN结的工作原理
下一篇:导航url链接中获取参数
相关推荐
晚霞的不甘
19 小时前
CANN 模型转换与适配:从 PyTorch 到 Ascend OM 的完整指南
人工智能·pytorch·python·深度学习
speop
20 小时前
【thorough-pytorch】评价指标
人工智能·pytorch·python
晚霞的不甘
20 小时前
CANN-昇腾NPU开发快速入门
人工智能·pytorch·python·深度学习
rayyy9
21 小时前
神经网络拟合高频信号实验
人工智能·pytorch·神经网络
香蕉鼠片
21 小时前
CUDA、PyTorch、Transformers、PEFT 全栈详解
人工智能·pytorch·python
MediaTea
21 小时前
PyTorch:张量与基础计算模块
人工智能·pytorch·python·深度学习·机器学习
放下华子我只抽RuiKe5
2 天前
React 从入门到生产(一):JSX 与组件思维
前端·javascript·人工智能·pytorch·深度学习·react.js·前端框架
z小猫不吃鱼
2 天前
05 Pytorch之 ViT-B/16 源码逐行解析
人工智能·pytorch·python
xG8XPvV5d
2 天前
PyTorch特征提取器源码精析
人工智能·pytorch·python
热门推荐
01GitHub 镜像站点02Codex 接入 DeepSeek API 完整配置文档03CC-Switch & Claude 基于 Linux 服务器安装使用指南04【踩坑记录 | 第一篇】微软商店无法使用时,如何手动安装 OpenAI Codex?附`.msix`文件系统错误解决方法05几个好用的ip纯净度检测网站06裂开!ChatGPT 居然开始要手机号验证,附详细解决方法07装上就回不去了:CodeGraph 让 AI 编程效率飙升 92%,它到底做了什么?08用了半年 OpenRouter,我换到了 Ofox.ai — 两个 AI API 聚合平台的真实对比09codex app每次打开重连5次Reconnecting问题解决10【AI】2026 年具身智能模型和世界模型总结