【pytorch】张量求导

笔者看到了这篇文章,可以很好的解释张量的求导问题:

看到了上面这张图,可以说很好的表示了前向和反向的过程了。

补充几个细节

之前看李沐的d2l,一直不懂为什么矩阵计算时的一些奇奇怪怪的规定,比如为什么一个行向量对另一个行向量作微分的结果是每一行都对第二个向量的每个元素都进行偏微分,然后拼成一个矩阵。按照作者提到的,首先将y中的每个元素都对向量进行微分,然后再拼成一个矩阵。

另外一个就是:为什么两个向量微分之后的形状是两个向量的形状直接拼起来,从文中作者的解释也可以看出,每个元素都对第二个向量作微分,形状和第二个向量相同,而每个结果都会作为第一个向量的元素,因为最后一维往往就是元素,所以效果就相当于两个向量拼起来。

作者没更矩阵部分的内容,好可惜哦。

相关推荐
狂师2 小时前
阿里开源:skill-up,一款Agent Skill 评测工具!
人工智能·开源·agent
武子康2 小时前
同一套 Agent Runtime,为什么 Web、Headless 和 Python SDK 仍然不是同一个产品
人工智能·llm·agent
天天代码码天天2 小时前
一个纯 C 的 OCR Runtime,又向前走了一步:lw.PPOCR.C preview.5 发布
人工智能
程序员cxuan2 小时前
Claude 官方的学习教程,太强了。
人工智能·后端·程序员
小强闯江湖3 小时前
不只是让 AI 写代码:ViewCompose 把 Android UI 做成了可编译、可渲染的闭环
android·人工智能·kotlin
用户7783366132113 小时前
用 React Hook 封装搜索数据:useSerp 的防抖、缓存与错误处理
python·api
肆仲冬3 小时前
不用框架手写 AI Agent:ReAct 推理链和上下文管理的工程实践
人工智能
明月_清风3 小时前
发现一个超系统的 AI Agent 学习地图 —— Agent Atlas 推荐
人工智能·后端·agent
百度Geek说4 小时前
商业客户端Harness资产管理与应用实践
人工智能
MacroZheng4 小时前
同事问我:"Claude Code经常失忆,不怕它把项目搞炸?",我:"怕,三个Markdown文件给它装个永不丢失的外置大脑!"
java·人工智能·后端