【pytorch】张量求导

笔者看到了这篇文章,可以很好的解释张量的求导问题:

看到了上面这张图,可以说很好的表示了前向和反向的过程了。

补充几个细节

之前看李沐的d2l,一直不懂为什么矩阵计算时的一些奇奇怪怪的规定,比如为什么一个行向量对另一个行向量作微分的结果是每一行都对第二个向量的每个元素都进行偏微分,然后拼成一个矩阵。按照作者提到的,首先将y中的每个元素都对向量进行微分,然后再拼成一个矩阵。

另外一个就是:为什么两个向量微分之后的形状是两个向量的形状直接拼起来,从文中作者的解释也可以看出,每个元素都对第二个向量作微分,形状和第二个向量相同,而每个结果都会作为第一个向量的元素,因为最后一维往往就是元素,所以效果就相当于两个向量拼起来。

作者没更矩阵部分的内容,好可惜哦。

相关推荐
不要em0啦18 小时前
从0开始学python:声明
python
ha_lydms18 小时前
4、Spark 函数_m/n/o/p/q/r
大数据·数据库·python·sql·spark·数据处理·dataworks
檐下翻书17318 小时前
多模态融合:文本、图像、音频、视频的统一理解框架
人工智能
Coder_Boy_18 小时前
开源向量数据库比较(Chroma、Milvus、Faiss、Weaviate)
数据库·人工智能·spring boot·开源·milvus
dajun18112345618 小时前
大语言模型的上下文长度突破与实用边界
人工智能
Pyeako18 小时前
机器学习--集成学习之随机森林&贝叶斯算法
python·算法·随机森林·机器学习·集成学习·贝叶斯算法
reasonsummer18 小时前
【人工智能-03-06】20251227 人工智能第二学期课程 下载课件《教育设计中的信息化》中的“多人编辑文件” 的图片,然后合并PDF
python
week_泽18 小时前
4、OpenCV SIFT特征检测笔记
人工智能·笔记·opencv
编码小哥18 小时前
OpenCV开运算与闭运算在图像处理中的应用
图像处理·人工智能·opencv
Elastic 中国社区官方博客18 小时前
使用 LocalAI 和 Elasticsearch 构建本地 RAG 应用
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索