矩阵微积分的链式法则（chain rule）

矩阵微积分的链式法则（chain rule）与标量情况一样，用于求复合函数的导数，但由于涉及矩阵和向量的求导，维度匹配和布局约定（numerator-layout vs. denominator-layout）必须格外小心。下面给出常见的三种场景，并分别给出链式法则的显式表达。

---

1. 标量对矩阵的链式法则
   设

• 标量函数 (L) 依赖于矩阵变量 (Y \in \mathbb{R}^{m\times n})；
• 而 (Y) 又是矩阵变量 (X \in \mathbb{R}^{p\times q}) 的函数：(Y = F(X))。
  则

\\frac{\\partial L}{\\partial X_{ij}} = \\sum_{k=1}^{m}\\sum_{l=1}^{n} \\frac{\\partial L}{\\partial Y_{kl}}\\frac{\\partial Y_{kl}}{\\partial X_{ij}}.

写成"向量化"形式（vec 算子按列堆叠）：

\\frac{\\partial L}{\\partial \\operatorname{vec}(X)} = \\left(\\frac{\\partial \\operatorname{vec}(Y)}{\\partial \\operatorname{vec}(X)}\\right)\^\\top \\frac{\\partial L}{\\partial \\operatorname{vec}(Y)}.

注意：

• 分子布局（numerator layout）下，(\frac{\partial \operatorname{vec}(Y)}{\partial \operatorname{vec}(X)}) 是 ((mn)\times(pq)) 的 Jacobian；
• 转置的出现取决于你采用的布局约定，务必维度匹配。

---

2. 向量对向量的链式法则
   设

• 向量函数 (z \in \mathbb{R}^{r}) 依赖于向量 (y \in \mathbb{R}^{m})；
• 而 (y) 又依赖于向量 (x \in \mathbb{R}^{n})：(y = f(x))。
  则

\\frac{\\partial z}{\\partial x\^\\top} = \\frac{\\partial z}{\\partial y\^\\top} \\frac{\\partial y}{\\partial x\^\\top},

其中

• (\frac{\partial z}{\partial y^\top}) 是 (r \times m)；
• (\frac{\partial y}{\partial x^\top}) 是 (m \times n)；
• 乘积给出 (r \times n) 的 Jacobian (\frac{\partial z}{\partial x^\top})。

若用分母布局（denominator layout），则写作

\\frac{\\partial z}{\\partial x} = \\left(\\frac{\\partial y}{\\partial x}\\right)\^\\top \\frac{\\partial z}{\\partial y}.

---

3. 矩阵对矩阵的"完全链式法则"
   当外层函数本身也是矩阵值，且内层函数也是矩阵值时，最保险的做法是向量化：

设

• (Z = G(Y)) 且 (Y = F(X))，
  其中 (X \in \mathbb{R}^{p\times q})，(Y \in \mathbb{R}^{m\times n})，(Z \in \mathbb{R}^{r\times s})。
  则

\\frac{\\partial \\operatorname{vec}(Z)}{\\partial \\operatorname{vec}(X)} = \\frac{\\partial \\operatorname{vec}(Z)}{\\partial \\operatorname{vec}(Y)} \\frac{\\partial \\operatorname{vec}(Y)}{\\partial \\operatorname{vec}(X)}.

• 左侧是 ((rs)\times(pq)) 的 Jacobian；
• 右侧两个因子分别是 ((rs)\times(mn)) 与 ((mn)\times(pq))，维度恰好可乘。

---

记忆技巧

"维度从左到右连乘"：

• 若使用分子布局，链式法则的 Jacobian 顺序与函数复合顺序相同（类比标量链式法则）。
• 若使用分母布局，需要转置中间 Jacobian。
  无论哪种约定，务必先固定一种，再检查维度是否匹配。

---

小例子

设

• (L = \tfrac{1}{2}|Y|_F^2)，
• (Y = AXB)，(A,B) 为常数矩阵，
  则

  \\frac{\\partial L}{\\partial X} = A\^\\top Y B\^\\top,

  可直接用上述链式法则验证：
• (\frac{\partial L}{\partial Y} = Y)，
• (\frac{\partial \operatorname{vec}(Y)}{\partial \operatorname{vec}(X)} = B^\top \otimes A)，
• 于是

  \\operatorname{vec}!\\left(\\frac{\\partial L}{\\partial X}\\right) = (B \\otimes A\^\\top)\\operatorname{vec}(Y) = \\operatorname{vec}(A\^\\top Y B\^\\top).

---

注： AI写的，请大家审阅！