【pytorch】张量求导

笔者看到了这篇文章,可以很好的解释张量的求导问题:

看到了上面这张图,可以说很好的表示了前向和反向的过程了。

补充几个细节

之前看李沐的d2l,一直不懂为什么矩阵计算时的一些奇奇怪怪的规定,比如为什么一个行向量对另一个行向量作微分的结果是每一行都对第二个向量的每个元素都进行偏微分,然后拼成一个矩阵。按照作者提到的,首先将y中的每个元素都对向量进行微分,然后再拼成一个矩阵。

另外一个就是:为什么两个向量微分之后的形状是两个向量的形状直接拼起来,从文中作者的解释也可以看出,每个元素都对第二个向量作微分,形状和第二个向量相同,而每个结果都会作为第一个向量的元素,因为最后一维往往就是元素,所以效果就相当于两个向量拼起来。

作者没更矩阵部分的内容,好可惜哦。

相关推荐
Ulyanov7 小时前
高保真单脉冲雷达导引头回波生成:Python建模与实践
开发语言·python·仿真·系统设计·单脉冲雷达
Li emily7 小时前
成功接入A股实时行情API获取实时市场数据
人工智能·python·金融·fastapi
China_Yanhy7 小时前
转型AI运维工程师·Day 7:构建“数据飞轮” —— 每一句对话都是资产
运维·人工智能·状态模式
苍何7 小时前
爆肝 2 天,用 GLM5 开发了 OpenClaw 接入微信 bot,已开源!
人工智能
kuankeTech7 小时前
“数改智转”加速跑:外贸ERP助力钢铁智能工厂“提质增效”
大数据·人工智能·经验分享·软件开发·erp
澳鹏Appen7 小时前
澳鹏无锡成功获评国家高新技术企业
人工智能
threerocks7 小时前
前端将死,Agent 永生
前端·人工智能·ai编程
苍何8 小时前
偶然间发现一款逆天的 AI PPT 工具!免费生成!
人工智能
苍何8 小时前
Openclaw + OpenCode 才是 vibe coding 的最棒组合!
人工智能
shehuiyuelaiyuehao8 小时前
22Java对象的比较
java·python·算法