矩阵的导数运算2——链式法则

假设 J = f ( y ( u ) ) J=f(y(u)) J=f(y(u)) ,已知标量复合函数对标量 的求导:
∂ J ∂ u = ∂ J ∂ y ∂ y ∂ u \frac{\partial J}{\partial u}=\frac{\partial J}{\partial y} \frac{\partial y}{\partial u} ∂u∂J=∂y∂J∂u∂y

以此类推,假设 J = f ( y → ( u → ) ) J=f(\overrightarrow{y}(\overrightarrow{u})) J=f(y (u )), y → = y 1 ( u → ) . . y m ( u → ) m × 1 \overrightarrow{y}= \begin{bmatrix} y_1(\overrightarrow{u}) \\ .\\ .\\ y_m(\overrightarrow{u})\\ \end{bmatrix}{m\times1} y = y1(u )..ym(u ) m×1, u → = u 1 . . u n n × 1 \overrightarrow{u}= \begin{bmatrix} u_1\\ .\\ .\\ u_n\\ \end{bmatrix}{n\times1} u = u1..un n×1,则标量复合函数对向量的求导(分母布局):
❌ ∂ J ∂ u → = ∂ J ∂ y → m × 1 ∂ y → ∂ u → n × m ❌ \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial J}{\partial \overrightarrow{y}}{m\times 1} \frac{\partial \overrightarrow{y}}{\partial \overrightarrow{u}}{n\times m} ❌∂u ∂J=∂y ∂Jm×1∂u ∂y n×m

可以发现矩阵的行列无法满足相乘规则,无法相乘 。

最终通过推导可以得出标量复合函数对向量的求导(分母布局)的正确形式
✅ ∂ J ∂ u → = ∂ y → ∂ u → n × m ∂ J ∂ y → m × 1 ✅ \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial \overrightarrow{y}}{\partial \overrightarrow{u}}{n\times m} \frac{\partial J}{\partial \overrightarrow{y}}{m\times 1} ✅∂u ∂J=∂u ∂y n×m∂y ∂Jm×1

例,性能指标、代价函数

状态变量 x → k + 1 = A x → k + B u → k \overrightarrow{x}{k+1}=A\overrightarrow{x}{k}+B\overrightarrow{u}{k} x k+1=Ax k+Bu k,代价函数 J = x → k + 1 T x → k + 1 J=\overrightarrow{x}^T{k+1}\overrightarrow{x}{k+1} J=x k+1Tx k+1,则根据上式可得:
∂ J ∂ u → = ∂ x → k + 1 ∂ u → k ∂ J ∂ x → k + 1 \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial \overrightarrow{x}
{k+1}}{\partial \overrightarrow{u}{k}} \frac{\partial J}{\partial \overrightarrow{x}{k+1}} ∂u ∂J=∂u k∂x k+1∂x k+1∂J

其中 ∂ x → k + 1 ∂ u → k = ∂ ( A x → k + B u → k ) ∂ u → k = B T \frac{\partial \overrightarrow{x}{k+1}}{\partial \overrightarrow{u}{k}}=\frac{\partial (A\overrightarrow{x}{k}+B\overrightarrow{u}{k})}{\partial \overrightarrow{u}{k}}=B^T ∂u k∂x k+1=∂u k∂(Ax k+Bu k)=BT(向量方程对向量的求导常用特例1), ∂ J ∂ x → k + 1 = ∂ ( x → k + 1 T x → k + 1 ) ∂ x → k + 1 = 1 x → k + 1 + 1 T x → k + 1 = 2 x → k + 1 \frac{\partial J}{\partial \overrightarrow{x}{k+1}}=\frac{\partial (\overrightarrow{x}^T_{k+1}\overrightarrow{x}{k+1})}{\partial \overrightarrow{x}{k+1}}=1\overrightarrow{x}{k+1}+1^T\overrightarrow{x}{k+1}=2\overrightarrow{x}{k+1} ∂x k+1∂J=∂x k+1∂(x k+1Tx k+1)=1x k+1+1Tx k+1=2x k+1(向量方程对向量的求导常用特例2),将这两式代入上述最终可得:
∂ J ∂ u → = ∂ x → k + 1 ∂ u → k ∂ J ∂ x → k + 1 = 2 B T x → k + 1 \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial \overrightarrow{x}
{k+1}}{\partial \overrightarrow{u}{k}} \frac{\partial J}{\partial \overrightarrow{x}{k+1}}=2B^T\overrightarrow{x}_{k+1} ∂u ∂J=∂u k∂x k+1∂x k+1∂J=2BTx k+1

相关推荐
烂蜻蜓14 小时前
Matplotlib入门教程(十三):imshow() 详解——灰度图、彩色图、热力图与矩阵可视化
线性代数·矩阵·matplotlib
没有钱的钱仔1 天前
协方差矩阵含义
算法·机器学习·矩阵
爱刷碗的苏泓舒2 天前
泰勒级数与泰勒展开:GNSS卫地距线性化、Jacobian矩阵与Hessian矩阵
线性代数·算法·矩阵·gnss·雅可比矩阵·卫地距线性化·海森矩阵
lhh_qrsly2 天前
机器学习 深度学习 强化学习 都学啥 和 高等数学 线性代数 概率论数理统计 有啥关系
深度学习·线性代数·机器学习
tigershang3 天前
亲手拆开 Transformer:从手算入门到理论全景
神经网络·ai·矩阵·transformer
yeflx3 天前
行列式、特征值、SVD 等知识点记录(待补充)
线性代数·矩阵
虾..3 天前
三维图形学基础数学(向量,矩阵)
线性代数·矩阵
BSD_HY3 天前
薄膜开关矩阵扫描在低功耗 MCU 上的 GPIO 扩展
单片机·嵌入式硬件·矩阵
papaofdoudou3 天前
从抽象群到可计算的矩阵:S₃ 的表示论与共轭视角
python·决策树·矩阵
数智工坊3 天前
视觉SLAM第12讲|地图构建:单目稠密重建、RGB-D点云与八叉树地图全解析
人工智能·深度学习·矩阵·机器人