optimizer和loss.backward()相关函数

optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零,这样tensor里面的grad就不会累加)

loss.backward()是用来求导的

optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数

上面的顺序步骤不能变

相关推荐
DeniuHe1 小时前
Pytorch中统计学相关的函数
pytorch·python·深度学习
林深现海17 小时前
【刘二大人】PyTorch深度学习实践笔记 —— 第四集:反向传播(凝练版)
pytorch·python·numpy
WGS.18 小时前
fastenhancer DPRNN torch 实现
pytorch·深度学习
Rabbit_QL21 小时前
PyTorch DataLoader `num_workers` 配置指南:从新手到进阶
人工智能·pytorch·python
阡陌..1 天前
pytorch模型训练使用多GPU执行报错:Bus error (core dumped)(未解决)
人工智能·pytorch·python
多恩Stone1 天前
【3DV 进阶-11】Trellis.2 数据处理与训练流程图
人工智能·pytorch·python·算法·3d·aigc·流程图
爱喝可乐的老王1 天前
PyTorch搭建神经网络
pytorch·深度学习·神经网络
小饼干超人1 天前
pytorch返回张量元素总数量的方法 x.numel()
人工智能·pytorch·python
Dfreedom.1 天前
详解四大格式(PIL/OpenCV/NumPy/PyTorch)的转换原理与场景选择
图像处理·人工智能·pytorch·opencv·numpy·pillow
咚咚王者1 天前
人工智能之核心技术 深度学习 第九章 框架实操(PyTorch / TensorFlow)
人工智能·pytorch·深度学习