optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零，这样tensor里面的grad就不会累加)
loss.backward()是用来求导的
optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数
上面的顺序步骤不能变
相关推荐
维基框架15 小时前
PyTorch正在重构开源AI基础设施牧羊人.33315 小时前
动手学深度学习 04 | Dataset 和 DataLoader、数据增强陈年老古董1 天前
PyTorch食物图像分类实战：从数据集制作到CNN模型训练全流程详解TheBestRucy2 天前
PyTorch 基本使用学习笔记creator_Li2 天前
深度学习 学习笔记派大_星2 天前
基于 PyTorch 的 CNN 图片分类学习RobinDevNotes3 天前
模型训练工程师必须搞懂的DDP和FSDP洛阳纸贵3 天前
AI-PyTorch（一）基础代码实操和自动求导磁场转动100万匹3 天前
PyTorch 食物图像分类实战：从数据准备到 CNN 训练全流程解析ai小陈3 天前
PyTorch梯度累积与裁剪实战：小显存也能稳定训练大批次