pytorch中的loss.backward()和optimizer.step()中的使用的梯度方向问题

python 复制代码
# 举例:梯度下降更新模型参数
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)

# 在每个训练步骤中
optimizer.zero_grad()  # 清零梯度
output = model(input)
loss = loss_function(output, target)
loss.backward()       # 计算梯度
optimizer.step()       # 更新模型参数(沿着梯度的负方向)

在这个例子中,loss.backward() 计算的梯度方向是损失函数上升的方向,而 optimizer.step() 则使用了梯度的负方向来更新模型参数。

相关推荐
CIO_Alliance28 分钟前
企业级AI化转型基础认知(2):大语言模型、RAG、Agent与微调核心概念一次厘清
人工智能·深度学习·机器学习·语言模型·ipaas·系统集成·企业cio联盟
不是az1 小时前
力控相关知识点
算法·机器学习·最小二乘法
微三云 - 廖会灵 (私域系统开发)1 小时前
电商推荐系统从0到1:协同过滤+深度学习双塔模型的架构演进与实时排序实践
人工智能·深度学习·架构
卡梅德生物科技小能手1 小时前
卡美德生物科普MMP9(基质金属蛋白酶9):细胞外基质重塑的关键调节因子
经验分享·深度学习·生活
萧青山3 小时前
公文段落标题分类器实战:28维XGBoost实现标题层级识别(F1=0.99+)
机器学习
大鹏的NLP博客3 小时前
深度学习模型 ONNX 与 RKNN 数值一致性校验通用技术报告
人工智能·深度学习
Ivanqhz4 小时前
DRN(深度强化学习推荐网络)
人工智能·线性代数·机器学习·矩阵·dnn
阳明山水5 小时前
销量预测2026:基础模型、Mamba架构与LLM融合的技术新范式
人工智能·深度学习·算法·机器学习·架构
程序喵大人5 小时前
解密 Transformer 的核心——注意力机制
人工智能·深度学习·transformer·注意力机制
heroboyluck6 小时前
AI工程师第四课 - 深度学习入门
人工智能·python·深度学习·llama