矩阵的导数运算2——链式法则

假设 J = f ( y ( u ) ) J=f(y(u)) J=f(y(u)) ,已知标量复合函数对标量 的求导:
∂ J ∂ u = ∂ J ∂ y ∂ y ∂ u \frac{\partial J}{\partial u}=\frac{\partial J}{\partial y} \frac{\partial y}{\partial u} ∂u∂J=∂y∂J∂u∂y

以此类推,假设 J = f ( y → ( u → ) ) J=f(\overrightarrow{y}(\overrightarrow{u})) J=f(y (u )), y → = y 1 ( u → ) . . y m ( u → ) m × 1 \overrightarrow{y}= \begin{bmatrix} y_1(\overrightarrow{u}) \\ .\\ .\\ y_m(\overrightarrow{u})\\ \end{bmatrix}{m\times1} y = y1(u )..ym(u ) m×1, u → = u 1 . . u n n × 1 \overrightarrow{u}= \begin{bmatrix} u_1\\ .\\ .\\ u_n\\ \end{bmatrix}{n\times1} u = u1..un n×1,则标量复合函数对向量的求导(分母布局):
∂ J ∂ u → = ∂ J ∂ y → m × 1 ∂ y → ∂ u → n × m \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial J}{\partial \overrightarrow{y}}{m\times 1} \frac{\partial \overrightarrow{y}}{\partial \overrightarrow{u}}{n\times m} ∂u ∂J=∂y ∂Jm×1∂u ∂y n×m

可以发现矩阵的行列无法满足相乘规则,无法相乘

最终通过推导可以得出标量复合函数对向量的求导(分母布局)的正确形式
∂ J ∂ u → = ∂ y → ∂ u → n × m ∂ J ∂ y → m × 1 \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial \overrightarrow{y}}{\partial \overrightarrow{u}}{n\times m} \frac{\partial J}{\partial \overrightarrow{y}}{m\times 1} ∂u ∂J=∂u ∂y n×m∂y ∂Jm×1

例,性能指标、代价函数

状态变量 x → k + 1 = A x → k + B u → k \overrightarrow{x}{k+1}=A\overrightarrow{x}{k}+B\overrightarrow{u}{k} x k+1=Ax k+Bu k,代价函数 J = x → k + 1 T x → k + 1 J=\overrightarrow{x}^T{k+1}\overrightarrow{x}{k+1} J=x k+1Tx k+1,则根据上式可得:
∂ J ∂ u → = ∂ x → k + 1 ∂ u → k ∂ J ∂ x → k + 1 \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial \overrightarrow{x}
{k+1}}{\partial \overrightarrow{u}{k}} \frac{\partial J}{\partial \overrightarrow{x}{k+1}} ∂u ∂J=∂u k∂x k+1∂x k+1∂J

其中 ∂ x → k + 1 ∂ u → k = ∂ ( A x → k + B u → k ) ∂ u → k = B T \frac{\partial \overrightarrow{x}{k+1}}{\partial \overrightarrow{u}{k}}=\frac{\partial (A\overrightarrow{x}{k}+B\overrightarrow{u}{k})}{\partial \overrightarrow{u}{k}}=B^T ∂u k∂x k+1=∂u k∂(Ax k+Bu k)=BT(向量方程对向量的求导常用特例1), ∂ J ∂ x → k + 1 = ∂ ( x → k + 1 T x → k + 1 ) ∂ x → k + 1 = 1 x → k + 1 + 1 T x → k + 1 = 2 x → k + 1 \frac{\partial J}{\partial \overrightarrow{x}{k+1}}=\frac{\partial (\overrightarrow{x}^T_{k+1}\overrightarrow{x}{k+1})}{\partial \overrightarrow{x}{k+1}}=1\overrightarrow{x}{k+1}+1^T\overrightarrow{x}{k+1}=2\overrightarrow{x}{k+1} ∂x k+1∂J=∂x k+1∂(x k+1Tx k+1)=1x k+1+1Tx k+1=2x k+1(向量方程对向量的求导常用特例2),将这两式代入上述最终可得:
∂ J ∂ u → = ∂ x → k + 1 ∂ u → k ∂ J ∂ x → k + 1 = 2 B T x → k + 1 \frac{\partial J}{\partial \overrightarrow{u}}=\frac{\partial \overrightarrow{x}
{k+1}}{\partial \overrightarrow{u}{k}} \frac{\partial J}{\partial \overrightarrow{x}{k+1}}=2B^T\overrightarrow{x}_{k+1} ∂u ∂J=∂u k∂x k+1∂x k+1∂J=2BTx k+1

相关推荐
微三云 - 廖会灵 (私域系统开发)1 天前
企业大模型应用工程化思考:跳出 Demo 陷阱,构建「业务‑资产‑Agent」三层落地架构
人工智能·矩阵·重构
tryxr1 天前
矩阵的几种基础变换
java·数据结构·算法·矩阵
老鱼说AI2 天前
从点积到希尔伯特空间:向量内积的几何本质与大模型相似度度量
人工智能·深度学习·线性代数·算法·机器学习·数学建模
俗人六哥AI企业获客盈利系统3 天前
知识库才是AI落地的分水岭
人工智能·线性代数·矩阵·自动化
船厂电气自动化ai大模型3 天前
AI大模型与数学|第81天 课程:正交向量、正交基、格拉姆‑施密特(Gram‑Schmidt)正交化
开发语言·数据结构·人工智能·线性代数·机器学习
微三云 - 廖会灵 (私域系统开发)4 天前
私域电商多端商城系统架构实践:小程序 / APP / H5 一套后端如何落地
矩阵·重构·零售
微三云 - 廖会灵 (私域系统开发)4 天前
多端商城统一账号体系设计实践:小程序 / APP / H5 登录打通与账号合并
矩阵·重构·自动化·零售
智购无人售货机厂家7 天前
2026自动售货机品类拓展逻辑:从饮料零食到鲜食药品文创的工程实践~YH
服务器·人工智能·单片机·线性代数·矩阵
IT小白杨8 天前
社媒多账号运营的环境隔离:一张图谱模型,解释清“为什么换IP还是被连坐“
经验分享·笔记·矩阵·指纹浏览器
镜像视界(浙江)科技有限公司9 天前
《视频孪生之上:二维展示终结,三维空间计算重构城市逻辑》——跨摄像连续表达 × 三角测量厘米级定位 × 动态轨迹建模,构建新一代城市空间
大数据·人工智能·算法·矩阵·音视频·空间计算