矩阵的导数运算2——链式法则

假设 J = f ( y ( u ) ) J=f(y(u)) J=f(y(u)) ,已知标量复合函数对标量 的求导:
∂ J ∂ u = ∂ J ∂ y ∂ y ∂ u \frac{\partial J}{\partial u}=\frac{\partial J}{\partial y} \frac{\partial y}{\partial u} ∂u∂J=∂y∂J∂u∂y

以此类推,假设 J = f ( y → ( u → ) ) J=f(\overrightarrow{y}(\overrightarrow{u})) J=f(y (u )), y → = [ y 1 ( u → ) . . y m ( u → ) ] m × 1 \overrightarrow{y}= \begin{bmatrix} y_1(\overrightarrow{u}) \\ .\\ .\\ y_m(\overrightarrow{u})\\ \end{bmatrix}{m\times1} y = y1(u )..ym(u ) m×1, u → = [ u 1 . . u n ] n × 1 \overrightarrow{u}= \begin{bmatrix} u_1\\ .\\ .\\ u_n\\ \end{bmatrix}{n\times1} u = u1..un n×1,则标量复合函数对向量的求导(分母布局):

❌ \] ∂ J ∂ u → = ∂ J ∂ y → m × 1 ∂ y → ∂ u → n × m \[❌\] \\frac{\\partial J}{\\partial \\overrightarrow{u}}=\\frac{\\partial J}{\\partial \\overrightarrow{y}}_{m\\times 1} \\frac{\\partial \\overrightarrow{y}}{\\partial \\overrightarrow{u}}_{n\\times m} \[❌\]∂u ∂J=∂y ∂Jm×1∂u ∂y n×m 可以发现矩阵的行列**无法满足相乘规则,无法相乘** 。 最终通过推导可以得出标量复合函数对向量的求导(分母布局)的正确形式 \[ ✅ \] ∂ J ∂ u → = ∂ y → ∂ u → n × m ∂ J ∂ y → m × 1 \[✅\] \\frac{\\partial J}{\\partial \\overrightarrow{u}}=\\frac{\\partial \\overrightarrow{y}}{\\partial \\overrightarrow{u}}_{n\\times m} \\frac{\\partial J}{\\partial \\overrightarrow{y}}_{m\\times 1} \[✅\]∂u ∂J=∂u ∂y n×m∂y ∂Jm×1 > 例,性能指标、代价函数 状态变量 x → \[ k + 1 \] = A x → \[ k \] + B u → \[ k \] \\overrightarrow{x}_{\[k+1\]}=A\\overrightarrow{x}_{\[k\]}+B\\overrightarrow{u}_{\[k\]} x \[k+1\]=Ax \[k\]+Bu \[k\],代价函数 J = x → \[ k + 1 \] T x → \[ k + 1 \] J=\\overrightarrow{x}\^T_{\[k+1\]}\\overrightarrow{x}_{\[k+1\]} J=x \[k+1\]Tx \[k+1\],则根据上式可得: ∂ J ∂ u → = ∂ x → \[ k + 1 \] ∂ u → \[ k \] ∂ J ∂ x → \[ k + 1 \] \\frac{\\partial J}{\\partial \\overrightarrow{u}}=\\frac{\\partial \\overrightarrow{x}_{\[k+1\]}}{\\partial \\overrightarrow{u}_{\[k\]}} \\frac{\\partial J}{\\partial \\overrightarrow{x}_{\[k+1\]}} ∂u ∂J=∂u \[k\]∂x \[k+1\]∂x \[k+1\]∂J 其中 ∂ x → \[ k + 1 \] ∂ u → \[ k \] = ∂ ( A x → \[ k \] + B u → \[ k \] ) ∂ u → \[ k \] = B T \\frac{\\partial \\overrightarrow{x}_{\[k+1\]}}{\\partial \\overrightarrow{u}_{\[k\]}}=\\frac{\\partial (A\\overrightarrow{x}_{\[k\]}+B\\overrightarrow{u}_{\[k\]})}{\\partial \\overrightarrow{u}_{\[k\]}}=B\^T ∂u \[k\]∂x \[k+1\]=∂u \[k\]∂(Ax \[k\]+Bu \[k\])=BT(向量方程对向量的求导常用特例1), ∂ J ∂ x → \[ k + 1 \] = ∂ ( x → \[ k + 1 \] T x → \[ k + 1 \] ) ∂ x → \[ k + 1 \] = 1 x → \[ k + 1 \] + 1 T x → \[ k + 1 \] = 2 x → \[ k + 1 \] \\frac{\\partial J}{\\partial \\overrightarrow{x}_{\[k+1\]}}=\\frac{\\partial (\\overrightarrow{x}\^T_{\[k+1\]}\\overrightarrow{x}_{\[k+1\]})}{\\partial \\overrightarrow{x}_{\[k+1\]}}=1\\overrightarrow{x}_{\[k+1\]}+1\^T\\overrightarrow{x}_{\[k+1\]}=2\\overrightarrow{x}_{\[k+1\]} ∂x \[k+1\]∂J=∂x \[k+1\]∂(x \[k+1\]Tx \[k+1\])=1x \[k+1\]+1Tx \[k+1\]=2x \[k+1\](向量方程对向量的求导常用特例2),将这两式代入上述最终可得: ∂ J ∂ u → = ∂ x → \[ k + 1 \] ∂ u → \[ k \] ∂ J ∂ x → \[ k + 1 \] = 2 B T x → \[ k + 1 \] \\frac{\\partial J}{\\partial \\overrightarrow{u}}=\\frac{\\partial \\overrightarrow{x}_{\[k+1\]}}{\\partial \\overrightarrow{u}_{\[k\]}} \\frac{\\partial J}{\\partial \\overrightarrow{x}_{\[k+1\]}}=2B\^T\\overrightarrow{x}_{\[k+1\]} ∂u ∂J=∂u \[k\]∂x \[k+1\]∂x \[k+1\]∂J=2BTx \[k+1

相关推荐
Jasmine_llq13 小时前
《B4259 [GESP202503 二级] 等差矩阵》
线性代数·矩阵·顺序输入输出算法·双重循环遍历算法·行列乘积计算算法·矩阵逐行输出算法·空格分隔输出算法
代码改善世界18 小时前
【MATLAB初阶】矩阵操作(二):矩阵的运算
android·matlab·矩阵
今日说"法"18 小时前
线性代数与矩阵运算:AI世界的数学基石——从SVD到特征值分解的实战解析
人工智能·线性代数·矩阵
猴哥聊项目管理18 小时前
从职能型组织到矩阵型组织的IPD转型路径
线性代数·矩阵·项目管理·项目经理·ipd流程·ipd项目管理流程·ipd流程管理
清 晨19 小时前
海外社媒内容审核加强跨境卖家如何避免限流
大数据·人工智能·矩阵·新媒体运营·内容营销
源码之家21 小时前
计算机毕业设计:Python农产品智能推荐与可视化分析系统 Flask框架 矩阵分解 数据分析 可视化 协同过滤推荐算法 深度学习(建议收藏)✅
python·矩阵·数据挖掘·数据分析·django·flask·课程设计
今日说"法"21 小时前
线性代数与矩阵运算:向量、矩阵、特征值、SVD 在 AI 中的全面应用
人工智能·线性代数·矩阵
今日说"法"21 小时前
线性代数与矩阵运算:AI 背后的数学基石
人工智能·线性代数·矩阵
承渊政道21 小时前
【递归、搜索与回溯算法】(floodfill算法:从不会做矩阵题,到真正掌握搜索扩散思想)
数据结构·c++·算法·leetcode·矩阵·dfs·bfs
剑挑星河月1 天前
73.矩阵置零
数据结构·算法·leetcode·矩阵