矩阵的导数运算2——链式法则

假设 J = f ( y ( u ) ) J=f(y(u)) J=f(y(u)) ,已知标量复合函数对标量 的求导:
∂ J ∂ u = ∂ J ∂ y ∂ y ∂ u \frac{\partial J}{\partial u}=\frac{\partial J}{\partial y} \frac{\partial y}{\partial u} ∂u∂J=∂y∂J∂u∂y

以此类推,假设 J = f ( y → ( u → ) ) J=f(\overrightarrow{y}(\overrightarrow{u})) J=f(y (u )), y → = y 1 ( u → ) . . y m ( u → ) m × 1 \overrightarrow{y}= \begin{bmatrix} y_1(\overrightarrow{u}) \\ .\\ .\\ y_m(\overrightarrow{u})\\ \end{bmatrix}{m\times1} y = y1(u )..ym(u ) m×1, u → = u 1 . . u n n × 1 \overrightarrow{u}= \begin{bmatrix} u_1\\ .\\ .\\ u_n\\ \end{bmatrix}{n\times1} u = u1..un n×1,则标量复合函数对向量的求导(分母布局):
∂ J ∂ u → = ∂ J ∂ y → m × 1 ∂ y → ∂ u → n × m \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial J}{\partial \overrightarrow{y}}{m\times 1} \frac{\partial \overrightarrow{y}}{\partial \overrightarrow{u}}{n\times m} ∂u ∂J=∂y ∂Jm×1∂u ∂y n×m

可以发现矩阵的行列无法满足相乘规则,无法相乘

最终通过推导可以得出标量复合函数对向量的求导(分母布局)的正确形式
∂ J ∂ u → = ∂ y → ∂ u → n × m ∂ J ∂ y → m × 1 \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial \overrightarrow{y}}{\partial \overrightarrow{u}}{n\times m} \frac{\partial J}{\partial \overrightarrow{y}}{m\times 1} ∂u ∂J=∂u ∂y n×m∂y ∂Jm×1

例,性能指标、代价函数

状态变量 x → k + 1 = A x → k + B u → k \overrightarrow{x}{k+1}=A\overrightarrow{x}{k}+B\overrightarrow{u}{k} x k+1=Ax k+Bu k,代价函数 J = x → k + 1 T x → k + 1 J=\overrightarrow{x}^T{k+1}\overrightarrow{x}{k+1} J=x k+1Tx k+1,则根据上式可得:
∂ J ∂ u → = ∂ x → k + 1 ∂ u → k ∂ J ∂ x → k + 1 \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial \overrightarrow{x}
{k+1}}{\partial \overrightarrow{u}{k}} \frac{\partial J}{\partial \overrightarrow{x}{k+1}} ∂u ∂J=∂u k∂x k+1∂x k+1∂J

其中 ∂ x → k + 1 ∂ u → k = ∂ ( A x → k + B u → k ) ∂ u → k = B T \frac{\partial \overrightarrow{x}{k+1}}{\partial \overrightarrow{u}{k}}=\frac{\partial (A\overrightarrow{x}{k}+B\overrightarrow{u}{k})}{\partial \overrightarrow{u}{k}}=B^T ∂u k∂x k+1=∂u k∂(Ax k+Bu k)=BT(向量方程对向量的求导常用特例1), ∂ J ∂ x → k + 1 = ∂ ( x → k + 1 T x → k + 1 ) ∂ x → k + 1 = 1 x → k + 1 + 1 T x → k + 1 = 2 x → k + 1 \frac{\partial J}{\partial \overrightarrow{x}{k+1}}=\frac{\partial (\overrightarrow{x}^T_{k+1}\overrightarrow{x}{k+1})}{\partial \overrightarrow{x}{k+1}}=1\overrightarrow{x}{k+1}+1^T\overrightarrow{x}{k+1}=2\overrightarrow{x}{k+1} ∂x k+1∂J=∂x k+1∂(x k+1Tx k+1)=1x k+1+1Tx k+1=2x k+1(向量方程对向量的求导常用特例2),将这两式代入上述最终可得:
∂ J ∂ u → = ∂ x → k + 1 ∂ u → k ∂ J ∂ x → k + 1 = 2 B T x → k + 1 \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial \overrightarrow{x}
{k+1}}{\partial \overrightarrow{u}{k}} \frac{\partial J}{\partial \overrightarrow{x}{k+1}}=2B^T\overrightarrow{x}_{k+1} ∂u ∂J=∂u k∂x k+1∂x k+1∂J=2BTx k+1

相关推荐
词元Max34 分钟前
3.2 线性代数直觉理解:向量与矩阵
线性代数·决策树·矩阵
Cinthia100339 分钟前
学习深度学习过程中对线性代数的几何理解
python·线性代数·机器学习
AI科技星16 小时前
基于**v=c(空间光速螺旋运动)唯一第一性原理**重新完整求导证明
人工智能·线性代数·算法·机器学习·架构·概率论·学习方法
吃好睡好便好19 小时前
矩阵的转置运算
学习·线性代数·matlab·矩阵
xier_ran21 小时前
【infra之路】阶段二 · 模块二:CUDA 编程入门(下)— 矩阵乘法、tiling 优化与测量陷阱
人工智能·线性代数·矩阵
cxr82821 小时前
高分子复合材料 AI 逆向设计合——学证明、算法实现、验证数据与学术资源全集
人工智能·线性代数·算法
star learning white1 天前
线性代数7
线性代数
hai3152475431 天前
AI工业化编程的黎明:由逻辑压缩到知识融合的范式跃迁
开发语言·人工智能·线性代数·机器学习·数学建模·概率论
it-电商达人1 天前
深耕TK内容运营,专业云端工具助力出海矩阵高效发展
矩阵·产品运营·内容运营
吃好睡好便好1 天前
矩阵的求逆运算
人工智能·学习·线性代数·matlab·矩阵