PyTorch 从tensor.grad 看 backward(权重参数) 和 gradient accumulated

1. 新建一个自变量 tensor x

python 复制代码
import torch

x = torch.ones(1, requires_grad=True)
print(x)

1. 输出:

python 复制代码
tensor([1.], requires_grad=True)

2. 写一个 forward

python 复制代码
import torch

x = torch.ones(1, requires_grad=True)
y = x**2
z = x**3

3. y, z 都 backward

python 复制代码
import torch

x = torch.ones(1, requires_grad=True)
y = x**2
z = x**3

y.backward()
z.backward()

print(x.grad)

3.输出

python 复制代码
tensor([5.])

4. 单独 y backward

python 复制代码
import torch

x = torch.ones(1, requires_grad=True)
y = x**2
z = x**3

y.backward()

print(x.grad)

4. 输出

python 复制代码
tensor([2.])

5. 单独 z backward

python 复制代码
import torch

x = torch.ones(1, requires_grad=True)
y = x**2
z = x**3

z.backward()

print(x.grad)

5. 输出

python 复制代码
tensor([3.])

6. tensor.grad.zero_()

python 复制代码
import torch

x = torch.ones(1, requires_grad=True)
y = x**2
y.backward()
print(x.grad)

x.grad.zero_()
z = x**3
z.backward()
print(x.grad)

输出:

python 复制代码
tensor([2.])
tensor([3.])

向量形式

注意由于 x 此时不是标量,所以 执行 y.backward()的时候必须给一个参数。

参数的含义是权重。

gradient=torch.ones(y.size()) 中的 gradient 参数指定了每个 y 元素对于 x的梯度的权重。在这里,gradient 设置为全1的张量,表示每个 y 元素对于损失函数的梯度权重都是1。

这意味着所有的梯度将被等权重地传播回输入 x。如果你想要为不同的元素分配不同的权重,你可以修改 gradient 参数以实现不同的梯度计算策略。

python 复制代码
import torch

x = torch.tensor([[-1.5], [2.7]], requires_grad=True)
print(x)

y = torch.empty([3,1])
y[0] = x[0]**2
y[1] = x[1]**3
y[2] = x[1]**4
y.backward(gradient=torch.ones(y.size()))
print(x.grad)


dy0 = 2*x[0]
dy1 = 3*x[1]**2
dy2 = 4*x[1]**3

dy_dx0 = dy0
dy_dx1 = dy1+dy2

print(dy_dx0)
print(dy_dx1)

输出

python 复制代码
tensor([[-1.5000],
        [ 2.7000]], requires_grad=True)

tensor([[ -3.0000],
        [100.6020]])
        
tensor([-3.], grad_fn=<MulBackward0>)
tensor([100.6020], grad_fn=<AddBackward0>)

权重不一样

python 复制代码
import torch

x = torch.tensor([[-1.5], [2.7]], requires_grad=True)
print(x)

y = torch.empty([3,1])
y[0] = x[0]**2
y[1] = x[1]**3
y[2] = x[1]**4
y.backward(gradient=torch.tensor([[0.5],[-2.],[1.5]]))
print(x.grad)


dy0 = 2*x[0]
dy1 = 3*x[1]**2
dy2 = 4*x[1]**3

dy_dx0 = 0.5*dy0
dy_dx1 = -2*dy1+1.5*dy2

print(dy_dx0)
print(dy_dx1)

输出

python 复制代码
tensor([[-1.5000],
        [ 2.7000]], requires_grad=True)
tensor([[-1.5000],
        [74.3580]])
tensor([-1.5000], grad_fn=<MulBackward0>)
tensor([74.3580], grad_fn=<AddBackward0>)
相关推荐
点云SLAM4 分钟前
四元数 (Quaternion)在位姿(SE(3))表示下的各类导数(雅可比)知识(2)
人工智能·线性代数·算法·机器学习·slam·四元数·李群李代数
七芒星20236 分钟前
ResNet(详细易懂解释):残差网络的革命性突破
人工智能·pytorch·深度学习·神经网络·学习·cnn
TMO Group 探谋网络科技15 分钟前
Salesforce vs Magento 选型指南:成本、功能差异对比清单
人工智能·magento·电商开发
piaopiaolanghua19 分钟前
PyCharm旧版本下载地址
ide·python·pycharm
云天徽上19 分钟前
【数据可视化-111】93大阅兵后的军费开支情况———2024年全球军费开支分析:用Python和Pyecharts打造炫酷可视化大屏
开发语言·python·信息可视化·pyecharts
Ginkgo_Lo31 分钟前
【LLM越狱】AI大模型DRA攻击解读与复现
人工智能·安全·ai·语言模型
凯子坚持 c39 分钟前
AI 赋能云端运维:基于 MCP 协议深度集成 Codebuddy CLI 与腾讯云 Lighthouse 的实战全解
运维·人工智能·腾讯云·腾讯轻量云ai创想家
胖达不服输40 分钟前
「日拱一码」087 机器学习——SPARROW
人工智能·python·机器学习·sparrow
minhuan1 小时前
构建AI智能体:三十一、AI医疗场景实践:医学知识精准问答+临床智能辅助决策CDSS
人工智能·医学知识问答·临床辅助决策·cdss·医学模型
大千AI助手1 小时前
线性预热机制(Linear Warmup):深度学习训练稳定性的关键策略
人工智能·深度学习·大模型·模型训练·学习率·warmup·线性预热机制