DDPM-12eq

要推导式(12),需结合反向过程的ϵ\epsilonϵ预测参数化变分下界的化简步骤 ,核心逻辑是"代入参数化→展开范数→替换xt\mathbf{x}_txt表达式",具体推导如下:


步骤1:明确μθ\mu_\thetaμθ的ϵ\epsilonϵ预测参数化

根据原文,反向过程均值μθ\mu_\thetaμθ采用**预测噪声ϵ\epsilonϵ**的参数化方式:
μθ(xt,t)=1αt(xt−βt1−αˉtϵθ(xt,t)) \mu_\theta(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) μθ(xt,t)=αt 1(xt−1−αˉt βtϵθ(xt,t))

其中,ϵθ(xt,t)\epsilon_\theta(\mathbf{x}_t, t)ϵθ(xt,t)是函数逼近器,用于从xt\mathbf{x}_txt预测真实噪声ϵ\epsilonϵ。


步骤2:代入式(10)并化简范数项

回顾式(10)中的范数项内部差值(即 μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0)μ~t(xt,x0) 减去 μθ(xt,t)\mu\theta(\mathbf{x}_t, t)μθ(xt,t)):
Note: μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}_0)μ~t(xt,x0) 可表示为 1αt(xt−βt1−αˉtϵ)\frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right)αt 1(xt−1−αˉt βtϵ)。

将μθ\mu_\thetaμθ的参数化代入,展开范数内的差:
μ~t(xt,x0)−μθ(xt,t)=1αt(xt−βt1−αˉtϵ)−1αt(xt−βt1−αˉtϵθ(xt,t))=1αt(xt−xt−βt1−αˉtϵ+βt1−αˉtϵθ(xt,t))=1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ) \begin{align*} &\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0) - \mu\theta(\mathbf{x}_t, t) \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right) - \left \\frac{1}{\\sqrt{\\alpha_t}} \\left( \\mathbf{x}_t - \\frac{\\beta_t}{\\sqrt{1 - \\bar{\\alpha}_t}} \\epsilon_\\theta(\\mathbf{x}_t, t) \\right) \\right \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon + \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) \\ &= \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \end{align*} μ~t(xt,x0)−μθ(xt,t)=αt 1(xt−1−αˉt βtϵ)−αt 1(xt−1−αˉt βtϵθ(xt,t))=αt 1(xt−xt−1−αˉt βtϵ+1−αˉt βtϵθ(xt,t))=αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ)

对该向量取L2范数的平方 (∥⋅∥2\|\cdot\|^2∥⋅∥2):
∥1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ)∥2=βt2αt(1−αˉt)∥ϵθ(xt,t)−ϵ∥2 \left\| \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \right\|^2 = \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right\|^2 αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ) 2=αt(1−αˉt)βt2∥ϵθ(xt,t)−ϵ∥2


步骤3:结合式(10)的系数,初步化简

式(10)中存在系数12σt2\frac{1}{2\sigma_t^2}2σt21,将其与范数平方项结合:
12σt2⋅βt2αt(1−αˉt)∥ϵ−ϵθ(xt,t)∥2 \frac{1}{2\sigma_t^2} \cdot \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon - \epsilon\theta(\mathbf{x}_t, t) \right\|^2 2σt21⋅αt(1−αˉt)βt2∥ϵ−ϵθ(xt,t)∥2


步骤4:替换xt\mathbf{x}_txt的表达式(来自前向过程重参数化)

根据前向过程的边际分布(式(4)),xt\mathbf{x}_txt可重参数化为:
xt=αˉtx0+1−αˉtϵ(αˉt=∏s=1tαs) \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t}\epsilon \quad (\bar{\alpha}t = \prod{s=1}^t \alpha_s) xt=αˉt x0+1−αˉt ϵ(αˉt=s=1∏tαs)

将xt\mathbf{x}txt的表达式代入ϵθ\epsilon\thetaϵθ的输入,最终得到式(12):
Ex0,ϵβt22σt2αt(1−αˉt)∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2 \mathbb{E}_{\mathbf{x}_0, \epsilon} \left \\frac{\\beta_t\^2}{2\\sigma_t\^2 \\alpha_t (1 - \\bar{\\alpha}_t)} \\left\\\| \\epsilon - \\epsilon_\\theta \\left( \\sqrt{\\bar{\\alpha}_t}\\mathbf{x}_0 + \\sqrt{1 - \\bar{\\alpha}_t}\\epsilon, t \\right) \\right\\\|\^2 \\right Ex0,ϵ2σt2αt(1−αˉt)βt2 ϵ−ϵθ(αˉt x0+1−αˉt ϵ,t) 2


总结:推导的核心逻辑

式(12)的推导是**"参数化代入→范数展开→变量替换"**的连续过程:

  1. 先通过ϵ\epsilonϵ预测的参数化方式,将μθ\mu_\thetaμθ转化为含ϵθ\epsilon_\thetaϵθ的形式;
  2. 展开范数项,利用代数化简得到仅含ϵ\epsilonϵ和ϵθ\epsilon_\thetaϵθ的差异项;
  3. 最后用前向过程的重参数化公式替换xt\mathbf{x}_txt,得到最终的去噪分数匹配类目标。

这一推导体现了"扩散模型变分下界"与"去噪分数匹配"的等价性,是原文建立两者联系的关键数学桥梁。

相关推荐
数模竞赛Paid answer16 小时前
2026年华数杯数学建模A题微构体中填充导电介质的仿真优化解题全过程及程序
数学建模·数据分析·华数杯
数模竞赛Paid answer16 小时前
2021年深圳杯数学建模B题背向瑞利散射光纤激光传感器设计解题全过程论文及程序
数学建模·数据分析·深圳杯
数模竞赛Paid answer18 小时前
2026年五一杯数学建模B题多工序协同作业问题求解全过程文档及程序
数学建模·数据分析·五一杯
数模竞赛Paid answer1 天前
2026年五一杯数学建模A题煤矿巷道支护问题求解全过程文档及程序
数学建模·数据分析·五一杯
数模竞赛Paid answer2 天前
2026年五一杯数学建模C题边坡预警问题求解全过程文档及程序
算法·数学建模·五一杯
数模竞赛Paid answer2 天前
2021年深圳杯数学建模A题火星探测器着陆控制方案解题全过程论文及程序
算法·数学建模·深圳杯
smppbzyc2 天前
2026华数杯数学建模A题原创论文分享
数学建模·数学建模竞赛·华数杯·全国大学生数学建模竞赛·华数杯数学建模·2026华数杯
数模竞赛Paid answer2 天前
2024年五一杯数学建模A题钢板最优切割路径问题求解全过程论文及程序
数学建模·数据分析·五一杯
茜茜数模2 天前
2026华数杯A题完整思路+论文+代码:微构体中填充导电介质的仿真优化
数学建模·华数杯
数模竞赛Paid answer3 天前
2019年深圳杯数学建模D题电视广告分户推送与营运规划解题全过程文档及程序
算法·数学建模·数据分析·深圳杯