DDPM-12eq

要推导式(12),需结合反向过程的ϵ\epsilonϵ预测参数化 和变分下界的化简步骤 ,核心逻辑是"代入参数化→展开范数→替换xt\mathbf{x}_txt表达式",具体推导如下:


步骤1:明确μθ\mu_\thetaμθ的ϵ\epsilonϵ预测参数化

根据原文,反向过程均值μθ\mu_\thetaμθ采用**预测噪声ϵ\epsilonϵ**的参数化方式:
μθ(xt,t)=1αt(xt−βt1−αˉtϵθ(xt,t)) \mu_\theta(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) μθ(xt,t)=αt 1(xt−1−αˉt βtϵθ(xt,t))

其中,ϵθ(xt,t)\epsilon_\theta(\mathbf{x}_t, t)ϵθ(xt,t)是函数逼近器,用于从xt\mathbf{x}_txt预测真实噪声ϵ\epsilonϵ。


步骤2:代入式(10)并化简范数项

回顾式(10)中的范数项内部差值(即 μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0)μ~t(xt,x0) 减去 μθ(xt,t)\mu\theta(\mathbf{x}_t, t)μθ(xt,t)):
Note: μ~t(xt,x0)\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}_0)μ~t(xt,x0) 可表示为 1αt(xt−βt1−αˉtϵ)\frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right)αt 1(xt−1−αˉt βtϵ)。

将μθ\mu_\thetaμθ的参数化代入,展开范数内的差:
μ~t(xt,x0)−μθ(xt,t)=1αt(xt−βt1−αˉtϵ)−1αt(xt−βt1−αˉtϵθ(xt,t))=1αt(xt−xt−βt1−αˉtϵ+βt1−αˉtϵθ(xt,t))=1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ) \begin{align*} &\tilde{\mu}_t(\mathbf{x}_t, \mathbf{x}0) - \mu\theta(\mathbf{x}_t, t) \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right) - \left \\frac{1}{\\sqrt{\\alpha_t}} \\left( \\mathbf{x}_t - \\frac{\\beta_t}{\\sqrt{1 - \\bar{\\alpha}_t}} \\epsilon_\\theta(\\mathbf{x}_t, t) \\right) \\right \\ &= \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon + \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \epsilon\theta(\mathbf{x}_t, t) \right) \\ &= \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \end{align*} μ~t(xt,x0)−μθ(xt,t)=αt 1(xt−1−αˉt βtϵ)−αt 1(xt−1−αˉt βtϵθ(xt,t))=αt 1(xt−xt−1−αˉt βtϵ+1−αˉt βtϵθ(xt,t))=αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ)

对该向量取L2范数的平方 (∥⋅∥2\|\cdot\|^2∥⋅∥2):
∥1αt⋅βt1−αˉt(ϵθ(xt,t)−ϵ)∥2=βt2αt(1−αˉt)∥ϵθ(xt,t)−ϵ∥2 \left\| \frac{1}{\sqrt{\alpha_t}} \cdot \frac{\beta_t}{\sqrt{1 - \bar{\alpha}t}} \left( \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right) \right\|^2 = \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon\theta(\mathbf{x}_t, t) - \epsilon \right\|^2 αt 1⋅1−αˉt βt(ϵθ(xt,t)−ϵ) 2=αt(1−αˉt)βt2∥ϵθ(xt,t)−ϵ∥2


步骤3:结合式(10)的系数,初步化简

式(10)中存在系数12σt2\frac{1}{2\sigma_t^2}2σt21,将其与范数平方项结合:
12σt2⋅βt2αt(1−αˉt)∥ϵ−ϵθ(xt,t)∥2 \frac{1}{2\sigma_t^2} \cdot \frac{\beta_t^2}{\alpha_t (1 - \bar{\alpha}t)} \left\| \epsilon - \epsilon\theta(\mathbf{x}_t, t) \right\|^2 2σt21⋅αt(1−αˉt)βt2∥ϵ−ϵθ(xt,t)∥2


步骤4:替换xt\mathbf{x}_txt的表达式(来自前向过程重参数化)

根据前向过程的边际分布(式(4)),xt\mathbf{x}_txt可重参数化为:
xt=αˉtx0+1−αˉtϵ(αˉt=∏s=1tαs) \mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t}\epsilon \quad (\bar{\alpha}t = \prod{s=1}^t \alpha_s) xt=αˉt x0+1−αˉt ϵ(αˉt=s=1∏tαs)

将xt\mathbf{x}txt的表达式代入ϵθ\epsilon\thetaϵθ的输入,最终得到式(12):
Ex0,ϵβt22σt2αt(1−αˉt)∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2 \mathbb{E}_{\mathbf{x}_0, \epsilon} \left \\frac{\\beta_t\^2}{2\\sigma_t\^2 \\alpha_t (1 - \\bar{\\alpha}_t)} \\left\\\| \\epsilon - \\epsilon_\\theta \\left( \\sqrt{\\bar{\\alpha}_t}\\mathbf{x}_0 + \\sqrt{1 - \\bar{\\alpha}_t}\\epsilon, t \\right) \\right\\\|\^2 \\right Ex0,ϵ2σt2αt(1−αˉt)βt2 ϵ−ϵθ(αˉt x0+1−αˉt ϵ,t) 2


总结:推导的核心逻辑

式(12)的推导是**"参数化代入→范数展开→变量替换"**的连续过程:

  1. 先通过ϵ\epsilonϵ预测的参数化方式,将μθ\mu_\thetaμθ转化为含ϵθ\epsilon_\thetaϵθ的形式;
  2. 展开范数项,利用代数化简得到仅含ϵ\epsilonϵ和ϵθ\epsilon_\thetaϵθ的差异项;
  3. 最后用前向过程的重参数化公式替换xt\mathbf{x}_txt,得到最终的去噪分数匹配类目标。

这一推导体现了"扩散模型变分下界"与"去噪分数匹配"的等价性,是原文建立两者联系的关键数学桥梁。

相关推荐
lisw052 小时前
生物数学:概念、历史、内容、挑战与展望!
大数据·数学建模
by————组态1 天前
Ricon组态适用领域全景解析:工业制造、能源、市政民生与智慧城市四大场景落地实践
后端·物联网·数学建模·智慧城市·能源·制造·组态
2601_960356383 天前
2027届数学与应用数学本科生转行业研究助理:岗位、数据能力与项目准备
数学建模
2501_933670793 天前
2027届数学与应用数学转经营分析:SQL、财务指标与业务指标补齐路线
数据库·sql·数学建模
Martina_03213 天前
山谷地形下雨后湿痕总往坡上爬?用6步检查高度场、流向遮罩与分区加载
人工智能·游戏·数学建模·3d·自然语言处理·aigc·关卡设计
Martina_03214 天前
AI生成3D场景导入 Unity/Unreal 后,NPC 总串层?用6步检查导航高度与跨层连接
人工智能·游戏·数学建模·3d·unity·自然语言处理·aigc
考研保研资料分享4 天前
电子信息保研经验合辑:复旦直博与北邮集成电路,夏令营、预推免和专业面试
数学建模·面试·职场和发展·信息与通信
蒲公英eric6 天前
人口增长问题:从 Malthus 到 Logistic 的建模之旅
人工智能·python·数学建模·人口增长问题
Martina_03216 天前
同一片森林换个镜头就忽冷忽暖?用6步统一曝光、LUT与相机后处理
人工智能·游戏·数学建模·3d·自然语言处理·aigc·游戏策划
蒲公英eric7 天前
Python工具链与LaTeX排版:把兵器配齐
人工智能·python·算法·数学建模·数学建模工具