optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零，这样tensor里面的grad就不会累加)
loss.backward()是用来求导的
optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数
上面的顺序步骤不能变
相关推荐
<-->3 小时前
Megatron（全称 Megatron-LM，由 NVIDIA 开发）和 DeepSpeed（由 Microsoft 开发）学弟6 小时前
【内涵】深度学习中的三种变量及pytorch中对应的三种tensorYuanxl90312 小时前
Torchvision 0.26：深度学习视觉库全面解析爱编程的小吴12 小时前
PyTorch+Transformer大模型入门到精通：LLM训练、推理、量化、部署全攻略Yuanxl90312 小时前
pytorch-优化器长沙红胖子Qt16 小时前
深度学习开发笔记（一）：跨平台纯C++训练和推理框架LibTorch介绍、开发环境搭建和Demo郝学胜-神的一滴1 天前
深度学习必学：PyTorch 神经网络参数初始化全攻略（原理 + 代码 + 选择指南）jr-create(•̀⌄•́)1 天前
正则化和优化算法区别独隅2 天前
PyTorch转TFLite动态形状处理技巧kishu_iOS&AI2 天前
Pytorch —— 自动微分模块