DDPM-12eq

要推导式(12),需结合反向过程的ϵ\epsilonϵ预测参数化变分下界的化简步骤 ,核心逻辑是"代入参数化→展开范数→替换xt\mathbf{x}_txt表达式",具体推导如下:


步骤1:明确μθ\mu_\thetaμθ的ϵ\epsilonϵ预测参数化

根据原文,反向过程均值μθ\mu_\thetaμθ采用**预测噪声ϵ\epsilonϵ**的参数化方式:
μθ(xt,t)=1αt(xt−βt1−αˉtϵθ(xt,t)) \mu_\theta(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) μθ(xt,t)=αt 1(xt−1−αˉt βtϵθ(xt,t))

其中,ϵθ(xt,t)\epsilon_\theta(\mathbf{x}_t, t)ϵθ(xt,t)是函数逼近器,用于从xt\mathbf{x}_txt预测真实噪声ϵ\epsilonϵ。


步骤2:代入式(10)并化简范数项

回顾式(10)中的范数项内部差值(即 μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0)μ~t(xt,x0) 减去 μθ(xt,t)\mu\theta(\mathbf{x}_t, t)μθ(xt,t)):
Note: μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}_0)μ~t(xt,x0) 可表示为 1αt(xt−βt1−αˉtϵ)\frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right)αt 1(xt−1−αˉt βtϵ)。

将μθ\mu_\thetaμθ的参数化代入,展开范数内的差:
μ~t(xt,x0)−μθ(xt,t)=1αt(xt−βt1−αˉtϵ)−[1αt(xt−βt1−αˉtϵθ(xt,t))]=1αt(xt−xt−βt1−αˉtϵ+βt1−αˉtϵθ(xt,t))=1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ) \begin{align*} &\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0) - \mu\theta(\mathbf{x}_t, t) \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right) - \left[ \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) \right] \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon + \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) \\ &= \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \end{align*} μ~t(xt,x0)−μθ(xt,t)=αt 1(xt−1−αˉt βtϵ)−[αt 1(xt−1−αˉt βtϵθ(xt,t))]=αt 1(xt−xt−1−αˉt βtϵ+1−αˉt βtϵθ(xt,t))=αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ)

对该向量取L2范数的平方 (∥⋅∥2\|\cdot\|^2∥⋅∥2):
∥1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ)∥2=βt2αt(1−αˉt)∥ϵθ(xt,t)−ϵ∥2 \left\| \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \right\|^2 = \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right\|^2 αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ) 2=αt(1−αˉt)βt2∥ϵθ(xt,t)−ϵ∥2


步骤3:结合式(10)的系数,初步化简

式(10)中存在系数12σt2\frac{1}{2\sigma_t^2}2σt21,将其与范数平方项结合:
12σt2⋅βt2αt(1−αˉt)∥ϵ−ϵθ(xt,t)∥2 \frac{1}{2\sigma_t^2} \cdot \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon - \epsilon\theta(\mathbf{x}_t, t) \right\|^2 2σt21⋅αt(1−αˉt)βt2∥ϵ−ϵθ(xt,t)∥2


步骤4:替换xt\mathbf{x}_txt的表达式(来自前向过程重参数化)

根据前向过程的边际分布(式(4)),xt\mathbf{x}_txt可重参数化为:
xt=αˉtx0+1−αˉtϵ(αˉt=∏s=1tαs) \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t}\epsilon \quad (\bar{\alpha}t = \prod{s=1}^t \alpha_s) xt=αˉt x0+1−αˉt ϵ(αˉt=s=1∏tαs)

将xt\mathbf{x}txt的表达式代入ϵθ\epsilon\thetaϵθ的输入,最终得到式(12):
Ex0,ϵ[βt22σt2αt(1−αˉt)∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2] \mathbb{E}_{\mathbf{x}_0, \epsilon} \left[ \frac{\beta_t^2}{2\sigma_t^2 \alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon - \epsilon\theta \left( \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t}\epsilon, t \right) \right\|^2 \right] Ex0,ϵ[2σt2αt(1−αˉt)βt2 ϵ−ϵθ(αˉt x0+1−αˉt ϵ,t) 2]


总结:推导的核心逻辑

式(12)的推导是**"参数化代入→范数展开→变量替换"**的连续过程:

  1. 先通过ϵ\epsilonϵ预测的参数化方式,将μθ\mu_\thetaμθ转化为含ϵθ\epsilon_\thetaϵθ的形式;
  2. 展开范数项,利用代数化简得到仅含ϵ\epsilonϵ和ϵθ\epsilon_\thetaϵθ的差异项;
  3. 最后用前向过程的重参数化公式替换xt\mathbf{x}_txt,得到最终的去噪分数匹配类目标。

这一推导体现了"扩散模型变分下界"与"去噪分数匹配"的等价性,是原文建立两者联系的关键数学桥梁。

相关推荐
嵌入式冰箱10 小时前
2026年第二十三届五一数学建模竞赛-C题 边坡预警问题
数学建模
Math_teacher_fan14 小时前
Flutter 跨平台开发实战:鸿蒙与音乐律动艺术(六)、Lissajous 利萨茹曲线:频率耦合的轨迹艺术
flutter·ui·数学建模·华为·harmonyos·鸿蒙系统
lichensun17 小时前
2026年第二十三届五一数学建模竞赛题目C题 边坡预警问题-完整模型及代码论文
数学建模
maligebilaowang21 小时前
2026年五一数学建模联赛 A/B/C 三题选题分析
数学建模·2026年五一赛·2026年五一杯
★飞翔的企鹅★1 天前
【一等奖版】2026 五一数学建模 B题 多工序协同作业问题
数学建模·2026五一数学建模·2026五一数学建模b题·多工序协同作业问题
★飞翔的企鹅★1 天前
【一等奖版】2026 五一数学建模 C题 边坡预警问题
数学建模·2026五一数学建模·2026五一数学建模c题
AI科技星1 天前
从180°旋转定值π、e论证时空宿命与未来可预测性—全域数学视角
人工智能·算法·机器学习·数学建模·数据挖掘
周末也要写八哥2 天前
C4D/Cinema 4D 2026超详细下载与安装教程(附资源包)
学习·数学建模
AI科技星2 天前
《基于 1 的 N 维分形与对称统一理论》
人工智能·算法·机器学习·数学建模·数据挖掘
AI科技星2 天前
《全域数学》第一部 数术本源 全10卷1-4级完整目录(出版定稿)
人工智能·机器学习·数学建模·数据挖掘·量子计算