【pytorch】张量求导

笔者看到了这篇文章,可以很好的解释张量的求导问题:

看到了上面这张图,可以说很好的表示了前向和反向的过程了。

补充几个细节

之前看李沐的d2l,一直不懂为什么矩阵计算时的一些奇奇怪怪的规定,比如为什么一个行向量对另一个行向量作微分的结果是每一行都对第二个向量的每个元素都进行偏微分,然后拼成一个矩阵。按照作者提到的,首先将y中的每个元素都对向量进行微分,然后再拼成一个矩阵。

另外一个就是:为什么两个向量微分之后的形状是两个向量的形状直接拼起来,从文中作者的解释也可以看出,每个元素都对第二个向量作微分,形状和第二个向量相同,而每个结果都会作为第一个向量的元素,因为最后一维往往就是元素,所以效果就相当于两个向量拼起来。

作者没更矩阵部分的内容,好可惜哦。

相关推荐
再玩一会儿看代码1 分钟前
Java抽象类和接口区别_场景理解
java·开发语言·经验分享·笔记·python
大蚂蚁2号2 分钟前
Python迭代器与生成器深度剖析:从底层协议到工程实战
python
小lan猫2 分钟前
多域 RAG 知识库:从 Vue 前端到 NestJS + PGVector 的全栈实践
前端·人工智能·typescript
openFuyao3 分钟前
AI Native基础设施的目标形态和它存在的一些挑战有哪些?K8s驱动异构算力面临挑战,下一代的K8s是渐进式优化,还是革命式的驱动AI的发展
人工智能·容器·kubernetes
专注搞钱3 分钟前
AI编程实战:我用Python+LangChain搭建了一个半导体FAB智能运维Agent
python·langchain·ai编程
手写码匠5 分钟前
手写 Prefix Caching:从零构建 LLM 提示词缓存引擎
人工智能·深度学习·算法·aigc
珂朵莉MM8 分钟前
第七届全球校园人工智能算法精英大赛-算法巅峰赛产业命题赛第3赛季优化题--整数线性规划
人工智能·算法
谁似人间西林客9 分钟前
工厂大脑如何让制造从“人驱”迈向“智驱”
大数据·人工智能·制造
财经资讯数据_灵砚智能10 分钟前
基于全球经济类多源新闻的NLP情感分析与数据可视化(夜间-次晨)2026年6月3日
大数据·人工智能·python·信息可视化·自然语言处理·灵砚智能
开源量化GO10 分钟前
期货量化价差合约怎么订:天勤 SP 组合代码与订阅注意点
python·区块链