KL 散度与 L2 损失的等价性
您指的两个等价式子是 Lvb\mathcal{L}_{\text{vb}}Lvb 展开后的 Lt\mathcal{L}_tLt 项：
-
KL 散度形式 (理论基础) ：
Lt=Ex0,xtDKL(q(xt−1∣xt,x0)∥pθ(xt−1∣xt))\mathcal{L}t = \mathbb{E}{x_0, x_t} \left \\mathcal{D}_{\\text{KL}} (q(x_{t-1}\|x_t, x_0) \\\| p_\\theta(x_{t-1}\|x_t)) \\right \quadLt=Ex0,xtDKL(q(xt−1∣xt,x0)∥pθ(xt−1∣xt)) -
L2 损失形式 (实际应用) ：
Lt=Ex0,t,ϵ∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2\mathcal{L}t = \mathbb{E}{x_0, t, \epsilon} \left \\left\\\| \\epsilon - \\epsilon_\\theta (\\sqrt{\\bar{\\alpha}_t} x_0 + \\sqrt{1-\\bar{\\alpha}_t} \\epsilon, t) \\right\\\|\^2 \\right \quadLt=Ex0,t,ϵ ϵ−ϵθ(αˉt x0+1−αˉt ϵ,t) 2
这两个公式是等价的，具体证明过程是 DDPM 理论的核心贡献之一。
详细等价性分析
1. KL 散度的解析解
由于 q(xt−1∣xt,x0)q(x_{t-1}|x_t, x_0)q(xt−1∣xt,x0) 和 pθ(xt−1∣xt)p_\theta(x_{t-1}|x_t)pθ(xt−1∣xt) 都是高斯分布 ，它们之间的 KL 散度 DKL(P∥Q)\mathcal{D}_{\text{KL}}(P \| Q)DKL(P∥Q) 有一个解析解，其形式取决于它们的均值和方差：
DKL(P∥Q)∝log(∣ΣQ∣∣ΣP∣)+Tr(ΣQ−1ΣP)+(μP−μQ)TΣQ−1(μP−μQ)\mathcal{D}_{\text{KL}}(P \| Q) \propto \log \left( \frac{|\Sigma_Q|}{|\Sigma_P|} \right) + \text{Tr}(\Sigma_Q^{-1} \Sigma_P) + (\mu_P - \mu_Q)^\mathrm{T} \Sigma_Q^{-1} (\mu_P - \mu_Q)DKL(P∥Q)∝log(∣ΣP∣∣ΣQ∣)+Tr(ΣQ−1ΣP)+(μP−μQ)TΣQ−1(μP−μQ)
将 DDPM 的参数代入：
- PPP 是真实的逆向分布 q(xt−1∣xt,x0)q(x_{t-1}|x_t, x_0)q(xt−1∣xt,x0)，其均值为 μ~t\tilde{\mu}_tμ~t，方差为 β~tI\tilde{\beta}_t \mathbf{I}β~tI。
- QQQ 是参数化模型 pθ(xt−1∣xt)p_\theta(x_{t-1}|x_t)pθ(xt−1∣xt)，其均值为 μθ\mu_\thetaμθ，方差为 ΣθI\Sigma_\theta \mathbf{I}ΣθI。
如果我们将 参数化模型的方差 Σθ\Sigma_\thetaΣθ 固定 为真实方差 β~tI\tilde{\beta}_t \mathbf{I}β~tI，那么 KL 散度的许多项会变成常数，只剩下均值项：
Lt∝E∥μ\~t(xt,x0)−μθ(xt,t)∥2\mathcal{L}_t \propto \mathbb{E} \left \\left\\\| \\tilde{\\mu}_t(x_t, x_0) - \\mu_\\theta(x_t, t) \\right\\\|\^2 \\rightLt∝E∥μ\~t(xt,x0)−μθ(xt,t)∥2
2. 均值 L2 损失到噪声 L2 损失的转化
DDPM 的核心思想是：预测噪声比直接预测均值更简单。
研究者证明，真实的均值 μ~t(xt,x0)\tilde{\mu}t(x_t, x_0)μ~t(xt,x0) 可以用真实噪声 ϵ\epsilonϵ 表示。同时，我们将参数化均值 μθ(xt,t)\mu\theta(x_t, t)μθ(xt,t) 参数化为预测噪声 ϵθ(xt,t)\epsilon_\theta(x_t, t)ϵθ(xt,t) 的函数。
- 真实均值 (由 ϵ\epsilonϵ 表达):
μ~t(xt,x0)∝1αt(xt−βt1−αˉtϵ)\tilde{\mu}_t(x_t, x_0) \propto \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}} \epsilon \right)μ~t(xt,x0)∝αt 1(xt−1−αˉt βtϵ) - 参数化均值 (由 ϵθ\epsilon_\thetaϵθ 表达):
μθ(xt,t)=1αt(xt−βt1−αˉtϵθ(xt,t))\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}t}} \epsilon\theta(x_t, t) \right)μθ(xt,t)=αt 1(xt−1−αˉt βtϵθ(xt,t))
将这两个表达式代入 Lt∝E∥μ\~t−μθ∥2\mathcal{L}_t \propto \mathbb{E} \left \\left\\\| \\tilde{\\mu}_t - \\mu_\\theta \\right\\\|\^2 \\rightLt∝E∥μ\~t−μθ∥2 中：
Lt∝E∥(1αt(xt−βt1−αˉtϵ))−(1αt(xt−βt1−αˉtϵθ))∥2\mathcal{L}_t \propto \mathbb{E} \left \\left\\\| \\left( \\frac{1}{\\sqrt{\\alpha_t}} \\left( x_t - \\frac{\\beta_t}{\\sqrt{1-\\bar{\\alpha}_t}} \\epsilon \\right) \\right) - \\left( \\frac{1}{\\sqrt{\\alpha_t}} \\left( x_t - \\frac{\\beta_t}{\\sqrt{1-\\bar{\\alpha}_t}} \\epsilon_\\theta \\right) \\right) \\right\\\|\^2 \\rightLt∝E (αt 1(xt−1−αˉt βtϵ))−(αt 1(xt−1−αˉt βtϵθ)) 2
提取公因式 1αt\frac{1}{\sqrt{\alpha_t}}αt 1 和 xtx_txt，可以看到 xtx_txt 项被完全抵消：
Lt∝E∥1αtβt1−αˉt(ϵθ−ϵ)∥2\mathcal{L}_t \propto \mathbb{E} \left \\left\\\| \\frac{1}{\\sqrt{\\alpha_t}} \\frac{\\beta_t}{\\sqrt{1-\\bar{\\alpha}_t}} (\\epsilon_\\theta - \\epsilon) \\right\\\|\^2 \\rightLt∝E αt 11−αˉt βt(ϵθ−ϵ) 2
忽略前面那些只依赖于 ttt 而不依赖于 θ\thetaθ 的系数（它们在优化过程中是常数），最终损失简化为：
Lt∝E∥ϵ−ϵθ(xt,t)∥2\mathcal{L}_t \propto \mathbb{E} \left \\left\\\| \\epsilon - \\epsilon_\\theta(x_t, t) \\right\\\|\^2 \\rightLt∝E∥ϵ−ϵθ(xt,t)∥2
因此，最小化 KL 散度（Lt\mathcal{L}_tLt 的理论形式 ）等价于最小化噪声的 L2 距离（Lt\mathcal{L}_tLt 的实用形式）。这是 DDPM 训练成功的关键。