梯度反向传播过程是如何处理repeat函数的

举个例子

python 复制代码
import torch

# 假设有一个简单的计算图
x = torch.tensor(2.0, requires_grad=True)
c=x.repeat(2,1)
y = c ** 2


print(x,"\n",c,"\n",y)
torch.sum(y)

z = torch.sum(y)

# 计算梯度
grads = torch.autograd.grad(z, x)
# 打印梯度
print("Gradient of z w.r.t. x:", grads)

输出

python 复制代码
tensor(2., requires_grad=True) 
 tensor([[2.],
        [2.]], grad_fn=<RepeatBackward0>) 
 tensor([[4.],
        [4.]], grad_fn=<PowBackward0>)
Gradient of z w.r.t. x: (tensor(8.),)

在你的代码中,首先创建了一个张量 x,然后使用 repeat 函数将其在第0维(行)上重复2次,形成一个形状为 (2, 1) 的张量 c。然后,计算了 c 的平方,得到张量 y。最后,对 y 求和,得到标量张量 z。

因为 z 是一个标量,所以可以对它对 x 求梯度。现在让我们来分析一下为什么计算出的梯度是8:

首先,我们有 y = c ** 2,其中 c 是重复了两次的 x。所以 y 的值为 4.0, 4.0。然后,我们对 y 求和,得到 z = 8.0。

接下来,我们要计算 z 对 x 的梯度。由于 z 是标量,所以 torch.autograd.grad 函数的返回值是一个包含一个元素的元组,即 (grad_x,)。因此,grads 的值是一个包含一个张量的元组。在这种情况下,梯度的计算是通过链式法则完成的,即 dz/dx = dz/dy * dy/dc * dc/dx。在这里,dz/dy 是1,因为 z 是 y 的总和,dy/dc 是2,因为 y 中每个元素对 c 的导数都是2,dc/dx 是2,因为 c 是通过将 x 重复两次得到的,所以 x 对 c 的导数是2。因此, dz/dx = 1 * 2 * 2 = 4 * 2 = 8。

因此,计算出的梯度是8。

太神奇了,dc/dx的结果就是重复的次数!,那其实repeat函数的效果相对于放大了repeat对象的学习率,放大倍数就是repeat的次数,所以慎用repeat呀!

相关推荐
特立独行的猫A1 小时前
别再用 nohup 了:让应用在后台常驻的正确姿势与 systemd 服务详解
java·后端·python
吃我一窝jio4 小时前
Python与Go线程模型深度对比
java·开发语言·python
罗西的思考5 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
zwd20055 小时前
Manim 怎么放大画面的某一部分?
python·动画·可视化·manim·数学动画
屿华AI6 小时前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车
RobinDevNotes6 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
如夏倾城7 小时前
VRRP(虚拟路由器冗余协议Virtual Router Redundancy Protocol)
网络·python·网络协议·安全·智能路由器·负载均衡·信息与通信
IvanCodes8 小时前
LangChain(04):Runnable 与 LCEL 的执行与组合机制
python·langchain·agent
特创数字科技8 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
东莞市云毅网络有限公司9 小时前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析