矩阵的导数运算1——标量向量方程对向量的求导

1. 标量方程对向量的求导

对向量求导前需要明确使用哪种布局形式,主要分为分母布局和分子布局。

1.1 分母布局

定义y→=[y1..ym]m×1\overrightarrow{y}= \begin{bmatrix} y_1\\ .\\ .\\ y_m\\ \end{bmatrix}{m\times1}y = y1..ym m×1,f(y→)f(\overrightarrow{y})f(y )为标量,则:
∂f(y→)∂y→=[∂f(y→)∂y1..∂f(y→)∂ym]m×1\frac{\partial f(\overrightarrow{y})}{\partial \overrightarrow{y}}= \begin{bmatrix} \frac{\partial f(\overrightarrow{y})}{\partial y_1}\\ .\\ .\\ \frac{\partial f(\overrightarrow{y})}{\partial y_m} \end{bmatrix}
{m\times1}∂y ∂f(y )= ∂y1∂f(y )..∂ym∂f(y ) m×1

可以发现求导的结果也是一个向量,且该向量的行数与分母的行数相同(都为m),这种布局称为分母布局

1.2 分子布局

定义y→=[y1..ym]1×n\overrightarrow{y}= \begin{bmatrix} y_1&.&.&y_m \end{bmatrix}_{1\times n}y =[y1..ym]1×n,f(y→)f(\overrightarrow{y})f(y )为标量,则

∂f(y→)∂y→=[∂f(y→)∂y1..∂f(y→)∂ym]1×n\frac{\partial f(\overrightarrow{y})}{\partial \overrightarrow{y}}= \begin{bmatrix} \frac{\partial f(\overrightarrow{y})}{\partial y_1}&.&.&\frac{\partial f(\overrightarrow{y})}{\partial y_m} \end{bmatrix}_{1\times n}∂y ∂f(y )=[∂y1∂f(y )..∂ym∂f(y )]1×n

可以发现求导的结果也是一个向量,且该向量的行数与分子的行数相同(都为1),这种布局称为分子布局

2. 向量方程对向量的求导

2.1 定义

以下所有推导都采用分母布局。

定义y→=[y1..ym]m×1\overrightarrow{y}= \begin{bmatrix} y_1\\ .\\ .\\ y_m\\ \end{bmatrix}{m\times1}y = y1..ym m×1,f(y→)=[f1(y→)..fn(y→)]n×1f(\overrightarrow{y})= \begin{bmatrix} f_1(\overrightarrow{y})\\ .\\ .\\ f_n(\overrightarrow{y})\\ \end{bmatrix}{n\times1}f(y )= f1(y )..fn(y ) n×1也为向量,则

因为是采用分母布局,所以要严格保证求导后的向量的行数要跟分母相同(都为m),因此在对向量f(y→)f(\overrightarrow{y})f(y )进行展开时展开成行的形式。

举个例子,假设y→=[y1y2y3]3×1\overrightarrow{y}= \begin{bmatrix} y_1\\ y_2\\ y_3\\ \end{bmatrix}{3\times1}y = y1y2y3 3×1,f(y→)=[y12+y22y22+2y3]2×1f(\overrightarrow{y})= \begin{bmatrix} y_1^2+y_2^2\\ y_2^2+2y_3\\ \end{bmatrix}{2\times1}f(y )=[y12+y22y22+2y3]2×1,则

2.2 两个常用的特例

1️⃣

若y→=[y1..ym]m×1\overrightarrow{y}= \begin{bmatrix} y_1\\ .\\ .\\ y_m\\ \end{bmatrix}{m\times1}y = y1..ym m×1,A=[a11..a1m......a1m..amm]m×mA= \begin{bmatrix} a{11}&.&.&a_{1m}\\ .&.&&.\\ .&&.&.\\ a_{1m}&.&.&a_{mm} \end{bmatrix}_{m\times m}A= a11..a1m......a1m..amm m×m,则有
∂Ay→∂y→=AT\frac{\partial A\overrightarrow{y}}{\partial \overrightarrow{y}} = A^T∂y ∂Ay =AT

2️⃣

若y→=[y1..ym]m×1\overrightarrow{y}= \begin{bmatrix} y_1\\ .\\ .\\ y_m\\ \end{bmatrix}{m\times1}y = y1..ym m×1,,,A=[a11..a1m......a1m..amm]m×mA= \begin{bmatrix} a{11}&.&.&a_{1m}\\ .&.&&.\\ .&&.&.\\ a_{1m}&.&.&a_{mm} \end{bmatrix}_{m\times m}A= a11..a1m......a1m..amm m×m,则有
∂y→TAy→∂y→=Ay→+ATy→\frac{\partial \overrightarrow{y}^TA\overrightarrow{y}}{\partial \overrightarrow{y}} = A\overrightarrow{y}+A^T\overrightarrow{y} ∂y ∂y TAy =Ay +ATy (重要)

相关推荐
柴猫°11 小时前
离散图扩散模型中的转移公式推导
人工智能·线性代数·机器学习
yeflx16 小时前
本质矩阵、基础矩阵和单应矩阵详解
线性代数·矩阵
AI算法沐枫17 小时前
计算机视觉需要哪些数学基础?常见问题全解析
人工智能·深度学习·线性代数·计算机视觉·自然语言处理
王_teacher1 天前
机器学习 矩阵求导 完整公式+严谨推导
人工智能·线性代数·考研·机器学习·矩阵·线性回归
做cv的小昊1 天前
【TJU】研究生应用统计学课程笔记(2)——第一章 数理统计的基本知识(1.3 统计中常用的分布族)
笔记·线性代数·数学建模·矩阵·概率论·学习方法·抽象代数
二等饼干~za8986682 天前
GEO 源码部署搭建详细操作教程(2026 最新版)
线性代数·django·开源·音视频·ai-native
Pentane.2 天前
【力扣hot100】【Leetcode 54】螺旋矩阵|边界控制 算法笔记及打卡(19/100)
算法·leetcode·矩阵
博.闻广见2 天前
AI_线性代数-6.PCA降维详解
人工智能·线性代数
做cv的小昊2 天前
【TJU】研究生应用统计学课程笔记(3)——第一章 数理统计的基本知识(1.4 正态总体的样本均值和样本方差的分布、1.5 充分统计量和完备统计量)
笔记·学习·线性代数·机器学习·数学建模·概率论
mxwin2 天前
Unity URP 下 TBN 矩阵学习 切线空间、tangent.w 与镜像 UV 的那些坑
学习·unity·矩阵·shader