DDPM和DDIM

b站讲解

Diffusion Probabilistic Models (DDPM)和Diffusion Implicit Models (DDIM)。

  • DDIM是对DDPM的加速工作

  • 通过对DDPM的损失函数观察,做出改进

  • 损失函数只和 x t x_t xt有关系:实际上不止优化了第t步,前边所有得到 x t x_t xt的过程,包括加入的噪声,都被隐式的优化了;优化非马尔可夫过程的模型(非链式传导)

  • 拿到预训练的DDPM之后可以选择其中一部分的时间节点进行反向过程,中间的(t-1)步实际上都被优化好了;因此训练的时候可以选<t 的子集中的时间步进行优化;

    • DDIM模型自己定义了一个前向过程,推理过程中不是DDPM 的noise predict(预测t时刻的噪声),而是data predict(直接预测 x 0 x_0 x0),然后和 x t x_t xt一起得到 x t − 1 x_{t-1} xt−1

    采样过程的区别:

  • DDIM不是马尔可夫链,把所有时间步方差=0,高斯噪声的随机性被移除了,变成了确定性的结果,

  • DDPM是马尔可夫链,方差每次是随机的,

    DDIM在连续时间维度,可以看成一个常微分方程。类比song yang博士提出了基于随机微分方程的加噪、去噪框架。反向的随机微分方程有一个对应的常微分方程,它们之间共享同一个边缘分布,因此可以通过解ODE方程来解决问题,而DDIM对应于这个过程。

相关推荐
阿坡RPA9 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049939 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心9 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI11 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c12 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20512 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清13 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh13 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员13 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物13 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技