DDPM和DDIM

b站讲解

Diffusion Probabilistic Models (DDPM)和Diffusion Implicit Models (DDIM)。

  • DDIM是对DDPM的加速工作

  • 通过对DDPM的损失函数观察,做出改进

  • 损失函数只和 x t x_t xt有关系:实际上不止优化了第t步,前边所有得到 x t x_t xt的过程,包括加入的噪声,都被隐式的优化了;优化非马尔可夫过程的模型(非链式传导)

  • 拿到预训练的DDPM之后可以选择其中一部分的时间节点进行反向过程,中间的(t-1)步实际上都被优化好了;因此训练的时候可以选<t 的子集中的时间步进行优化;

    • DDIM模型自己定义了一个前向过程,推理过程中不是DDPM 的noise predict(预测t时刻的噪声),而是data predict(直接预测 x 0 x_0 x0),然后和 x t x_t xt一起得到 x t − 1 x_{t-1} xt−1

    采样过程的区别:

  • DDIM不是马尔可夫链,把所有时间步方差=0,高斯噪声的随机性被移除了,变成了确定性的结果,

  • DDPM是马尔可夫链,方差每次是随机的,

    DDIM在连续时间维度,可以看成一个常微分方程。类比song yang博士提出了基于随机微分方程的加噪、去噪框架。反向的随机微分方程有一个对应的常微分方程,它们之间共享同一个边缘分布,因此可以通过解ODE方程来解决问题,而DDIM对应于这个过程。

相关推荐
code2cat2 小时前
【随笔】MCP长任务:查询已经返回,为什么任务还没有完成
javascript·人工智能·后端·mcp
玄魂2 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
写标小何2 小时前
AI 标书工具技术架构解析:从文件解析到排版导出的工程实践
人工智能
敖老师3 小时前
DeepSeek Harness Web 版从装到用:dsh web 启动、接入本地 Ollama 全流程
人工智能
阿里云大数据AI技术3 小时前
DataWorks AI 数据生成:一条配置,量产多行业的仿真级业务数据
人工智能
QA老兵的AI实战手记3 小时前
别再用人工盯 AI 幻觉了:我手搓了一套带“代码审查拦截”的 AI 效能大屏(附源码)
人工智能
火山引擎开发者社区3 小时前
APMPlus・看得见的 Agent(三) | Agent 说完成,结果却不对?APMPlus Agent 轨迹帮你查清执行过程
人工智能
羲云网络3 小时前
Claude Fable 5.2 创意编程分析:程序化生成、多智能体协作与工程验收
人工智能·大语言模型·blender·游戏开发
Linye3 小时前
HTML 流程图连线交叉看不清?聊聊画布避障折线与跳弧实现
前端·人工智能
weixin_469163693 小时前
金融租赁项目管理:维普时代以混合模型+AI实现管控与效率兼得
人工智能·金融