optimizer和loss.backward()相关函数

optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零,这样tensor里面的grad就不会累加)

loss.backward()是用来求导的

optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数

上面的顺序步骤不能变

相关推荐
阿正的梦工坊1 小时前
深入理解 PyTorch 的 view() 函数:以多头注意力机制(Multi-Head Attention)为例 (中英双语)
人工智能·pytorch·python
烟波人长安吖~4 小时前
【目标跟踪+人流计数+人流热图(Web界面)】基于YOLOV11+Vue+SpringBoot+Flask+MySQL
vue.js·pytorch·spring boot·深度学习·yolo·目标跟踪
四口鲸鱼爱吃盐6 小时前
Pytorch | 利用SMI-FGRM针对CIFAR10上的ResNet分类器进行对抗攻击
人工智能·pytorch·python·深度学习·机器学习·计算机视觉
诚威_lol_中大努力中12 小时前
关于pytorch3d的安装
人工智能·pytorch·python
开出南方的花18 小时前
BiLSTM+CRF实现NLP中的NER任务
人工智能·pytorch·自然语言处理·nlp·ner·条件随机场
Wishell20152 天前
为什么深度学习和神经网络要使用 GPU?
pytorch
起名字什么的好难2 天前
conda虚拟环境安装pytorch gpu版
人工智能·pytorch·conda
云空2 天前
《探索PyTorch计算机视觉:原理、应用与实践》
人工智能·pytorch·python·深度学习·计算机视觉
灰太狼不爱写代码2 天前
CUDA11.4版本的Pytorch下载
人工智能·pytorch·笔记·python·学习
轻口味2 天前
【每日学点鸿蒙知识】沙箱目录、图片压缩、characteristicsArray、gm-crypto 国密加解密、通知权限
pytorch·华为·harmonyos