DDPM-12eq

要推导式(12),需结合反向过程的ϵ\epsilonϵ预测参数化变分下界的化简步骤 ,核心逻辑是"代入参数化→展开范数→替换xt\mathbf{x}_txt表达式",具体推导如下:


步骤1:明确μθ\mu_\thetaμθ的ϵ\epsilonϵ预测参数化

根据原文,反向过程均值μθ\mu_\thetaμθ采用**预测噪声ϵ\epsilonϵ**的参数化方式:
μθ(xt,t)=1αt(xt−βt1−αˉtϵθ(xt,t)) \mu_\theta(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) μθ(xt,t)=αt 1(xt−1−αˉt βtϵθ(xt,t))

其中,ϵθ(xt,t)\epsilon_\theta(\mathbf{x}_t, t)ϵθ(xt,t)是函数逼近器,用于从xt\mathbf{x}_txt预测真实噪声ϵ\epsilonϵ。


步骤2:代入式(10)并化简范数项

回顾式(10)中的范数项内部差值(即 μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0)μ~t(xt,x0) 减去 μθ(xt,t)\mu\theta(\mathbf{x}_t, t)μθ(xt,t)):
Note: μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}_0)μ~t(xt,x0) 可表示为 1αt(xt−βt1−αˉtϵ)\frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right)αt 1(xt−1−αˉt βtϵ)。

将μθ\mu_\thetaμθ的参数化代入,展开范数内的差:
μ~t(xt,x0)−μθ(xt,t)=1αt(xt−βt1−αˉtϵ)−1αt(xt−βt1−αˉtϵθ(xt,t))=1αt(xt−xt−βt1−αˉtϵ+βt1−αˉtϵθ(xt,t))=1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ) \begin{align*} &\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0) - \mu\theta(\mathbf{x}_t, t) \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right) - \left \\frac{1}{\\sqrt{\\alpha_t}} \\left( \\mathbf{x}_t - \\frac{\\beta_t}{\\sqrt{1 - \\bar{\\alpha}_t}} \\epsilon_\\theta(\\mathbf{x}_t, t) \\right) \\right \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon + \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) \\ &= \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \end{align*} μ~t(xt,x0)−μθ(xt,t)=αt 1(xt−1−αˉt βtϵ)−αt 1(xt−1−αˉt βtϵθ(xt,t))=αt 1(xt−xt−1−αˉt βtϵ+1−αˉt βtϵθ(xt,t))=αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ)

对该向量取L2范数的平方 (∥⋅∥2\|\cdot\|^2∥⋅∥2):
∥1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ)∥2=βt2αt(1−αˉt)∥ϵθ(xt,t)−ϵ∥2 \left\| \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \right\|^2 = \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right\|^2 αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ) 2=αt(1−αˉt)βt2∥ϵθ(xt,t)−ϵ∥2


步骤3:结合式(10)的系数,初步化简

式(10)中存在系数12σt2\frac{1}{2\sigma_t^2}2σt21,将其与范数平方项结合:
12σt2⋅βt2αt(1−αˉt)∥ϵ−ϵθ(xt,t)∥2 \frac{1}{2\sigma_t^2} \cdot \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon - \epsilon\theta(\mathbf{x}_t, t) \right\|^2 2σt21⋅αt(1−αˉt)βt2∥ϵ−ϵθ(xt,t)∥2


步骤4:替换xt\mathbf{x}_txt的表达式(来自前向过程重参数化)

根据前向过程的边际分布(式(4)),xt\mathbf{x}_txt可重参数化为:
xt=αˉtx0+1−αˉtϵ(αˉt=∏s=1tαs) \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t}\epsilon \quad (\bar{\alpha}t = \prod{s=1}^t \alpha_s) xt=αˉt x0+1−αˉt ϵ(αˉt=s=1∏tαs)

将xt\mathbf{x}txt的表达式代入ϵθ\epsilon\thetaϵθ的输入,最终得到式(12):
Ex0,ϵβt22σt2αt(1−αˉt)∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2 \mathbb{E}_{\mathbf{x}_0, \epsilon} \left \\frac{\\beta_t\^2}{2\\sigma_t\^2 \\alpha_t (1 - \\bar{\\alpha}_t)} \\left\\\| \\epsilon - \\epsilon_\\theta \\left( \\sqrt{\\bar{\\alpha}_t}\\mathbf{x}_0 + \\sqrt{1 - \\bar{\\alpha}_t}\\epsilon, t \\right) \\right\\\|\^2 \\right Ex0,ϵ2σt2αt(1−αˉt)βt2 ϵ−ϵθ(αˉt x0+1−αˉt ϵ,t) 2


总结:推导的核心逻辑

式(12)的推导是**"参数化代入→范数展开→变量替换"**的连续过程:

  1. 先通过ϵ\epsilonϵ预测的参数化方式,将μθ\mu_\thetaμθ转化为含ϵθ\epsilon_\thetaϵθ的形式;
  2. 展开范数项,利用代数化简得到仅含ϵ\epsilonϵ和ϵθ\epsilon_\thetaϵθ的差异项;
  3. 最后用前向过程的重参数化公式替换xt\mathbf{x}_txt,得到最终的去噪分数匹配类目标。

这一推导体现了"扩散模型变分下界"与"去噪分数匹配"的等价性,是原文建立两者联系的关键数学桥梁。

相关推荐
兜里只有三分钱~6 天前
快递索赔场景评测|魔珐星云职场法务数字人线下落地实测
数学建模·数字人·数字
一切皆是因缘际会6 天前
RLHF奖励坍塌:大模型Reward漂移机理
人工智能·数学建模·ai
一切皆是因缘际会6 天前
VLM注视头GazeHead:视觉注意力分区机理
人工智能·数学建模·ai
一切皆是因缘际会7 天前
LLM轻量化联邦微调机理
数据结构·人工智能·数学建模·ai
汉克老师7 天前
GESP7级C++考试语法知识(二、指数函数(3、综合练习)
c++·算法·数学建模·指数函数·gesp7级·复利
88号技师7 天前
2026年2月一区SCI-交叉传播优化算法Propagation Alongside Crossover-附Matlab免费代码
开发语言·算法·数学建模·matlab·优化算法
Leo.yuan7 天前
数据建模怎么做?一文解析8种经典数据建模方法
大数据·数学建模
一切皆是因缘际会8 天前
隐层表征解构:LLM感知式幻觉稀疏成因
算法·数学建模·ai·架构
2301_764441339 天前
番茄钟+AI:高效专注的秘密武器
人工智能·算法·数学建模·动态规划·交互
hai3152475439 天前
一种通过空间几何转换进行软件编程计算的方式与现有计算的对比
人工智能·深度学习·数学建模·硬件架构·几何学·图论·拓扑学