线性代数 -- 矩阵求导

Tips:本文为理解神经网络的前置知识,整体内容并不全,相关内容还需后续进一步完善。

一、基础

1、标量、向量和矩阵

标量:只有大小,没有方向的量

向量(欧几里得向量):具有大小和方向的量。

矩阵:按照长方阵列排列的复数或实数集合

数学中的表示:

2、布局引入

2.1、标量对标量的导数

高等数学里面,我们已经学过了标量对标量求导,如下

有时候可能会有两个自变量,:

2.2、标量对向量的导数

我们将上面的两个标量写成向量形式,于是有(标量 y ,向量 x ):

将两个推广到多个,就有了标量对向量求导的形式:

那么问题来了,一个标量y对维度为m的向量x求导,那么结果也是一个m维的向量,那么这个结果向量是行向量,还是列向量呢?

可见标量对向量的求导,就是标量对向量中每个分量求导,最后把他们排列在一起,按一个向量表示,同理也可以得到向量对标量 的求导、向量对向量 的求导、标量对矩阵 的求导、矩阵对标量 的求导、向量对矩阵 的求导、矩阵对向量 的求导、矩阵对矩阵的求导。

如上,标量y对维度为m的一个向量x 的求导,那么结果也是一个m维的向量。这个m维的求导结果排列成的m维列向量或行向量均可。

但在我们机器学习算法法优化过程 中,如果行向量或者列向量随便写,那么结果就不唯一,为了解决这个问题,我们引入求导布局的概念。

3、分子布局(numerator layout)和分母布局(denominator layout)

3.1、标量对向量的求导

对于分子布局 ,我们求导结果的维度以分子 为主,比如上面标量对向量求导的例子,结果的维度和分子的维度是一致的。也就是说,如果向量x 是一个m维的行向量,那么求导结果是一个m维列向量。如果向量x 是一个m维列向量,那么求导结果是一个m维行向量。

对于分母布局 来说,我们求导结果的维度以分母 为主,如果向量x 是一个m维的行向量,那么求导结果也是一个m维行向量。如果向量x 是一个m维的列向量,那么求导结果也是一个m维的列向量。

分子布局和分母布局的结果来说,两者互为转置

3.2、向量对标量的求导

同理可得:

3.4、向量对向量的求导

3.5、标量对矩阵的求导

标量y对矩阵X(m*n)求导:

  • 分子布局:求导结果维度为n*m
  • 分母布局:求导结果维度与分母的矩阵X维度一致,为m*n

3.6、矩阵对标量的求导

矩阵Y(m*n)对标量x求导:

  • 分子布局:求导结果维度与分子的矩阵Y维度一致,为m*n
  • 分母布局:求导结果为n*m

向量对矩阵 的求导、矩阵对向量 的求导、矩阵对矩阵的求导。

相关推荐
蹦蹦跳跳真可爱58910 分钟前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
雷羿 LexChien20 分钟前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt
qqxhb23 分钟前
零基础数据结构与算法——第四章:基础算法-排序(上)
java·数据结构·算法·冒泡·插入·选择
两棵雪松1 小时前
如何通过向量化技术比较两段文本是否相似?
人工智能
heart000_11 小时前
128K 长文本处理实战:腾讯混元 + 云函数 SCF 构建 PDF 摘要生成器
人工智能·自然语言处理·pdf
敲键盘的小夜猫1 小时前
LLM复杂记忆存储-多会话隔离案例实战
人工智能·python·langchain
开开心心_Every1 小时前
便捷的Office批量转PDF工具
开发语言·人工智能·r语言·pdf·c#·音视频·symfony
cooldream20092 小时前
「源力觉醒 创作者计划」_基于 PaddlePaddle 部署 ERNIE-4.5-0.3B 轻量级大模型实战指南
人工智能·paddlepaddle·文心大模型
亚里随笔2 小时前
L0:让大模型成为通用智能体的强化学习新范式
人工智能·llm·大语言模型·rlhf
白杆杆红伞伞2 小时前
T01_神经网络
人工智能·深度学习·神经网络