【pytorch】张量求导

笔者看到了这篇文章,可以很好的解释张量的求导问题:

看到了上面这张图,可以说很好的表示了前向和反向的过程了。

补充几个细节

之前看李沐的d2l,一直不懂为什么矩阵计算时的一些奇奇怪怪的规定,比如为什么一个行向量对另一个行向量作微分的结果是每一行都对第二个向量的每个元素都进行偏微分,然后拼成一个矩阵。按照作者提到的,首先将y中的每个元素都对向量进行微分,然后再拼成一个矩阵。

另外一个就是:为什么两个向量微分之后的形状是两个向量的形状直接拼起来,从文中作者的解释也可以看出,每个元素都对第二个向量作微分,形状和第二个向量相同,而每个结果都会作为第一个向量的元素,因为最后一维往往就是元素,所以效果就相当于两个向量拼起来。

作者没更矩阵部分的内容,好可惜哦。

相关推荐
一只川页5 分钟前
从“对话”到“实干”:大模型应用架构演进全景解析
人工智能·架构
雷焰财经6 分钟前
从系统承建到生态赋能:宇信科技全球化战略的纵深与逻辑
大数据·人工智能·科技
阿_旭6 分钟前
基于YOLO26深度学习的风力机缺陷检测与语音提示系统【python源码+Pyqt5界面+数据集+训练代码】
人工智能·python·深度学习·风力机缺陷检测
共绩算力12 分钟前
海贼王 Pop-Up Book 风格AI生图提示词指南
人工智能·共绩算力
郝学胜-神的一滴14 分钟前
深度解析:Python元类手撸ORM框架,解锁底层编程魔法
数据结构·数据库·python·算法·职场和发展
沪漂阿龙15 分钟前
大模型最后一步关键训练:偏好调优,让AI更懂人心
人工智能
程序员Sunday17 分钟前
5000 字长文,全网最细的OpenClaw(小龙虾)架构拆解,我建议你认真看完
前端·人工智能
AI攻城狮22 分钟前
OpenClaw 的 reserveTokensFloor 到底怎么影响 auto-compaction?
人工智能·云原生·aigc
进击ing小白22 分钟前
OpenCv之查表法LUT
人工智能·opencv·计算机视觉
badhope22 分钟前
GitHub热门AI技能Top20实战指南
前端·javascript·人工智能·git·python·github·电脑