pytorch中的loss.backward()和optimizer.step()中的使用的梯度方向问题

python 复制代码
# 举例:梯度下降更新模型参数
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)

# 在每个训练步骤中
optimizer.zero_grad()  # 清零梯度
output = model(input)
loss = loss_function(output, target)
loss.backward()       # 计算梯度
optimizer.step()       # 更新模型参数(沿着梯度的负方向)

在这个例子中,loss.backward() 计算的梯度方向是损失函数上升的方向,而 optimizer.step() 则使用了梯度的负方向来更新模型参数。

相关推荐
刹那芳华19926 小时前
循环神经网络的从零开始实现(RNN)
人工智能·rnn·深度学习
宇宙第一小趴菜7 小时前
二、机器学习的应用领域和发展史
人工智能·机器学习
shxjnpl8 小时前
Qwen3-ASR 从 PyTorch 迁移到 vLLM:一次信创环境下的推理路径改造实录
人工智能·pytorch·vllm
DogDaoDao11 小时前
DeepQTMT: 深度学习加速VVC帧内编码CU划分 —— 论文深度解读与源码拆解
人工智能·深度学习·视频编解码·h266·vvc·帧内预测·deepqtmt
wyg_03111312 小时前
从0搭建极简transformer大模型
人工智能·深度学习·transformer
ShallWeL13 小时前
【机器学习】(31)—— 如何得到 Embedding
人工智能·机器学习·embedding
世人万千丶13 小时前
鸿蒙Crash高级捕获与异常监控:全局异常兜底/崩溃栈解析/符号表还原/智能聚类/闭环修复
学习·机器学习·华为·数据挖掘·harmonyos·鸿蒙·聚类
卡梅德生物科技小能手13 小时前
卡梅德生物科普|TSLP(胸腺基质淋巴细胞生成素)靶点研究概述
经验分享·深度学习·生活
lancyu14 小时前
零基础AI应用编程开发入门 | 吴恩达Prompt工程极简通关指南:新手从零学会工业级提示词开发(可直接复用代码)
人工智能·深度学习·机器学习