矩阵微积分的链式法则(chain rule)

矩阵微积分的链式法则(chain rule)与标量情况一样,用于求复合函数的导数,但由于涉及矩阵和向量的求导,维度匹配和布局约定(numerator-layout vs. denominator-layout)必须格外小心。下面给出常见的三种场景,并分别给出链式法则的显式表达。


  1. 标量对矩阵的链式法则
  • 标量函数 (L) 依赖于矩阵变量 (Y \in \mathbb{R}^{m\times n});
  • 而 (Y) 又是矩阵变量 (X \in \mathbb{R}^{p\times q}) 的函数:(Y = F(X))。

\\frac{\\partial L}{\\partial X_{ij}} = \\sum_{k=1}^{m}\\sum_{l=1}^{n} \\frac{\\partial L}{\\partial Y_{kl}}\\frac{\\partial Y_{kl}}{\\partial X_{ij}}.

写成"向量化"形式(vec 算子按列堆叠):

\\frac{\\partial L}{\\partial \\operatorname{vec}(X)} = \\left(\\frac{\\partial \\operatorname{vec}(Y)}{\\partial \\operatorname{vec}(X)}\\right)\^\\top \\frac{\\partial L}{\\partial \\operatorname{vec}(Y)}.

注意:

  • 分子布局(numerator layout)下,(\frac{\partial \operatorname{vec}(Y)}{\partial \operatorname{vec}(X)}) 是 ((mn)\times(pq)) 的 Jacobian;
  • 转置的出现取决于你采用的布局约定,务必维度匹配。

  1. 向量对向量的链式法则
  • 向量函数 (z \in \mathbb{R}^{r}) 依赖于向量 (y \in \mathbb{R}^{m});
  • 而 (y) 又依赖于向量 (x \in \mathbb{R}^{n}):(y = f(x))。

\\frac{\\partial z}{\\partial x\^\\top} = \\frac{\\partial z}{\\partial y\^\\top} \\frac{\\partial y}{\\partial x\^\\top},

其中

  • (\frac{\partial z}{\partial y^\top}) 是 (r \times m);
  • (\frac{\partial y}{\partial x^\top}) 是 (m \times n);
  • 乘积给出 (r \times n) 的 Jacobian (\frac{\partial z}{\partial x^\top})。

若用分母布局(denominator layout),则写作

\\frac{\\partial z}{\\partial x} = \\left(\\frac{\\partial y}{\\partial x}\\right)\^\\top \\frac{\\partial z}{\\partial y}.


  1. 矩阵对矩阵的"完全链式法则"
    当外层函数本身也是矩阵值,且内层函数也是矩阵值时,最保险的做法是向量化:

  • (Z = G(Y)) 且 (Y = F(X)),
    其中 (X \in \mathbb{R}^{p\times q}),(Y \in \mathbb{R}^{m\times n}),(Z \in \mathbb{R}^{r\times s})。

\\frac{\\partial \\operatorname{vec}(Z)}{\\partial \\operatorname{vec}(X)} = \\frac{\\partial \\operatorname{vec}(Z)}{\\partial \\operatorname{vec}(Y)} \\frac{\\partial \\operatorname{vec}(Y)}{\\partial \\operatorname{vec}(X)}.

  • 左侧是 ((rs)\times(pq)) 的 Jacobian;
  • 右侧两个因子分别是 ((rs)\times(mn)) 与 ((mn)\times(pq)),维度恰好可乘。

记忆技巧

"维度从左到右连乘":

  • 若使用分子布局,链式法则的 Jacobian 顺序与函数复合顺序相同(类比标量链式法则)。
  • 若使用分母布局,需要转置中间 Jacobian。
    无论哪种约定,务必先固定一种,再检查维度是否匹配。

小例子

  • (L = \tfrac{1}{2}|Y|_F^2),
  • (Y = AXB),(A,B) 为常数矩阵,

    \\frac{\\partial L}{\\partial X} = A\^\\top Y B\^\\top,

    可直接用上述链式法则验证:
  • (\frac{\partial L}{\partial Y} = Y),
  • (\frac{\partial \operatorname{vec}(Y)}{\partial \operatorname{vec}(X)} = B^\top \otimes A),
  • 于是

    \\operatorname{vec}!\\left(\\frac{\\partial L}{\\partial X}\\right) = (B \\otimes A\^\\top)\\operatorname{vec}(Y) = \\operatorname{vec}(A\^\\top Y B\^\\top).


注: AI写的,请大家审阅!

相关推荐
jinmo_C++7 小时前
Leetcode矩阵
算法·leetcode·矩阵
小鸡吃米…14 小时前
机器学习 - K - 中心聚类
人工智能·机器学习·聚类
武子康19 小时前
大数据-209 深度理解逻辑回归(Logistic Regression)与梯度下降优化算法
大数据·后端·机器学习
少林码僧21 小时前
2.29 XGBoost、LightGBM、CatBoost对比:三大梯度提升框架选型指南
人工智能·机器学习·ai·数据挖掘·数据分析·回归
春日见21 小时前
控制算法:PP(纯跟踪)算法
linux·人工智能·驱动开发·算法·机器学习
Yeats_Liao1 天前
MindSpore开发之路(二十六):系列总结与学习路径展望
人工智能·深度学习·学习·机器学习
gorgeous(๑>؂<๑)1 天前
【中科院-张启超组-AAAI26】WorldRFT: 用于自动驾驶的带强化微调的潜在世界模型规划
人工智能·机器学习·自动驾驶
愚公搬代码1 天前
【愚公系列】《AI+直播营销》015-直播的选品策略(设计直播产品矩阵)
人工智能·线性代数·矩阵
高洁011 天前
CLIP 的双编码器架构是如何优化图文关联的?(3)
深度学习·算法·机器学习·transformer·知识图谱
paixingbang1 天前
2026短视频矩阵服务商评测报告 星链引擎、河南云罗、数阶智能
大数据·线性代数·矩阵