DDPM-12eq

要推导式(12),需结合反向过程的ϵ\epsilonϵ预测参数化变分下界的化简步骤 ,核心逻辑是"代入参数化→展开范数→替换xt\mathbf{x}_txt表达式",具体推导如下:


步骤1:明确μθ\mu_\thetaμθ的ϵ\epsilonϵ预测参数化

根据原文,反向过程均值μθ\mu_\thetaμθ采用**预测噪声ϵ\epsilonϵ**的参数化方式:
μθ(xt,t)=1αt(xt−βt1−αˉtϵθ(xt,t)) \mu_\theta(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) μθ(xt,t)=αt 1(xt−1−αˉt βtϵθ(xt,t))

其中,ϵθ(xt,t)\epsilon_\theta(\mathbf{x}_t, t)ϵθ(xt,t)是函数逼近器,用于从xt\mathbf{x}_txt预测真实噪声ϵ\epsilonϵ。


步骤2:代入式(10)并化简范数项

回顾式(10)中的范数项内部差值(即 μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0)μ~t(xt,x0) 减去 μθ(xt,t)\mu\theta(\mathbf{x}_t, t)μθ(xt,t)):
Note: μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}_0)μ~t(xt,x0) 可表示为 1αt(xt−βt1−αˉtϵ)\frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right)αt 1(xt−1−αˉt βtϵ)。

将μθ\mu_\thetaμθ的参数化代入,展开范数内的差:
μ~t(xt,x0)−μθ(xt,t)=1αt(xt−βt1−αˉtϵ)−[1αt(xt−βt1−αˉtϵθ(xt,t))]=1αt(xt−xt−βt1−αˉtϵ+βt1−αˉtϵθ(xt,t))=1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ) \begin{align*} &\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0) - \mu\theta(\mathbf{x}_t, t) \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right) - \left[ \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) \right] \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon + \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) \\ &= \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \end{align*} μ~t(xt,x0)−μθ(xt,t)=αt 1(xt−1−αˉt βtϵ)−[αt 1(xt−1−αˉt βtϵθ(xt,t))]=αt 1(xt−xt−1−αˉt βtϵ+1−αˉt βtϵθ(xt,t))=αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ)

对该向量取L2范数的平方 (∥⋅∥2\|\cdot\|^2∥⋅∥2):
∥1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ)∥2=βt2αt(1−αˉt)∥ϵθ(xt,t)−ϵ∥2 \left\| \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \right\|^2 = \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right\|^2 αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ) 2=αt(1−αˉt)βt2∥ϵθ(xt,t)−ϵ∥2


步骤3:结合式(10)的系数,初步化简

式(10)中存在系数12σt2\frac{1}{2\sigma_t^2}2σt21,将其与范数平方项结合:
12σt2⋅βt2αt(1−αˉt)∥ϵ−ϵθ(xt,t)∥2 \frac{1}{2\sigma_t^2} \cdot \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon - \epsilon\theta(\mathbf{x}_t, t) \right\|^2 2σt21⋅αt(1−αˉt)βt2∥ϵ−ϵθ(xt,t)∥2


步骤4:替换xt\mathbf{x}_txt的表达式(来自前向过程重参数化)

根据前向过程的边际分布(式(4)),xt\mathbf{x}_txt可重参数化为:
xt=αˉtx0+1−αˉtϵ(αˉt=∏s=1tαs) \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t}\epsilon \quad (\bar{\alpha}t = \prod{s=1}^t \alpha_s) xt=αˉt x0+1−αˉt ϵ(αˉt=s=1∏tαs)

将xt\mathbf{x}txt的表达式代入ϵθ\epsilon\thetaϵθ的输入,最终得到式(12):
Ex0,ϵ[βt22σt2αt(1−αˉt)∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2] \mathbb{E}_{\mathbf{x}_0, \epsilon} \left[ \frac{\beta_t^2}{2\sigma_t^2 \alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon - \epsilon\theta \left( \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t}\epsilon, t \right) \right\|^2 \right] Ex0,ϵ[2σt2αt(1−αˉt)βt2 ϵ−ϵθ(αˉt x0+1−αˉt ϵ,t) 2]


总结:推导的核心逻辑

式(12)的推导是**"参数化代入→范数展开→变量替换"**的连续过程:

  1. 先通过ϵ\epsilonϵ预测的参数化方式,将μθ\mu_\thetaμθ转化为含ϵθ\epsilon_\thetaϵθ的形式;
  2. 展开范数项,利用代数化简得到仅含ϵ\epsilonϵ和ϵθ\epsilon_\thetaϵθ的差异项;
  3. 最后用前向过程的重参数化公式替换xt\mathbf{x}_txt,得到最终的去噪分数匹配类目标。

这一推导体现了"扩散模型变分下界"与"去噪分数匹配"的等价性,是原文建立两者联系的关键数学桥梁。

相关推荐
C灿灿数模7 小时前
2025未来杯数学建模A题B题选题建议与思路分析
数学建模
阿恩.7709 小时前
2026年2月最新国际会议分享,含计算机/教育/工程技术/电力能源/数学~
人工智能·经验分享·笔记·计算机网络·数学建模·能源
Cathy Bryant12 小时前
概率论直觉(三):边缘化
笔记·机器学习·数学建模·概率论
矢志航天的阿洪13 小时前
基于 CasADi 的三阶段地形跟随轨迹优化与 Bang-Bang 控制(含完整数学建模)
数学建模
您好啊数模君1 天前
数学建模优秀论文算法-牛顿迭代法
数学建模·牛顿迭代法
您好啊数模君1 天前
数学建模优秀论文算法-差分进化法
数学建模·差分进化法
C灿灿数模1 天前
2025未来杯数学建模A题B题思路模型代码论文(开赛后持续更新)
数学建模
人大博士的交易之路1 天前
龙虎榜——20251204
数学建模·数据挖掘·数据分析·缠论·龙虎榜·道琼斯结构
Deepoch2 天前
Deepoc-M 破局:半导体研发告别试错内耗
大数据·人工智能·数学建模·半导体·具身模型·deepoc