【pytorch】张量求导

笔者看到了这篇文章,可以很好的解释张量的求导问题:

看到了上面这张图,可以说很好的表示了前向和反向的过程了。

补充几个细节

之前看李沐的d2l,一直不懂为什么矩阵计算时的一些奇奇怪怪的规定,比如为什么一个行向量对另一个行向量作微分的结果是每一行都对第二个向量的每个元素都进行偏微分,然后拼成一个矩阵。按照作者提到的,首先将y中的每个元素都对向量进行微分,然后再拼成一个矩阵。

另外一个就是:为什么两个向量微分之后的形状是两个向量的形状直接拼起来,从文中作者的解释也可以看出,每个元素都对第二个向量作微分,形状和第二个向量相同,而每个结果都会作为第一个向量的元素,因为最后一维往往就是元素,所以效果就相当于两个向量拼起来。

作者没更矩阵部分的内容,好可惜哦。

相关推荐
zhojiew3 分钟前
在RAG系统中对FAISS,HNSW,BM25向量检索引擎选型的问题
人工智能·机器学习·faiss
吴秋霖5 分钟前
【某音电商】protobuf聊天协议逆向
python·算法·protobuf
深藏功yu名6 分钟前
Day24:向量数据库 Chroma_FAISS 入门
数据库·人工智能·python·ai·agent·faiss·chroma
OpenBayes贝式计算12 分钟前
教程上新|低门槛部署英伟达最新 Physical AI 模型,覆盖人形机器人/人体运动生成/扩散模型微调等
人工智能·深度学习·机器学习
3DVisionary25 分钟前
突破3C质检产能瓶颈:XTOM蓝光扫描仪配合自动化转台实现精密件批量检测
运维·人工智能·自动化·xtom扫描仪·自动化检测·消费电子质检·良率控制
子木HAPPY阳VIP35 分钟前
Ubuntu 22.04 VMware 设置固定IP配置
人工智能·后端·目标检测·机器学习·目标跟踪
cm65432037 分钟前
用Python破解简单的替换密码
jvm·数据库·python
机器之心42 分钟前
英伟达革了自己的命:智能体自主进化7天,干掉所有算子工程师、GPU专家
人工智能·openai
CoderJia程序员甲1 小时前
GitHub 热榜项目 - 日榜(2026-03-25)
人工智能·ai·大模型·github·ai教程
ZeroSilin1 小时前
Superpowers:为AI编程智能体赋予工程化超能力(安装与配置)
人工智能