【扩散模型】 DDPM和DDIM讲解

扩散模型DDPM和DDIM

扩散模型之DDPM介绍了经典扩散模型DDPM的原理和实现,那么生成一个样本的次数和训练次数需要一致,导致采样过程很缓慢。这篇文章我们将介绍另外一种扩散模型DDIM(Denoising Diffusion Implicit Models),它两有相同的训练目标,但是它不再限制扩散过程必须是一个马尔卡夫链,这使得DDIM可以采用更小的采样步数来加速生成过程,DDIM的另外是一个特点是从一个随机噪音生成样本的过程是一个确定的过程(中间没有加入随机噪音)。

参考链接:

B站视频: https://www.bilibili.com/video/BV1JY4y1N7dn/
https://zhuanlan.zhihu.com/p/565698027 扩散模型之DDIM

https://zhuanlan.zhihu.com/p/627616358 【生成模型(三)】一文读懂DDIM凭什么可以加速DDPM的采样效率

https://blog.csdn.net/weixin_43850253/article/details/128413786 DDIM原理及代码(Denoising diffusion implicit models

代码:
https://zhuanlan.zhihu.com/p/635144824

Diffusion之DDPM代码简述、MNIST与Fashion-MNIST生成实战及DDIM加速生成应用
https://blog.csdn.net/qq_41234663/article/details/128780745

扩散模型(Diffusion model)代码详细解读

回顾DDPM:

前向过程为一个马尔科夫链,上面公式和DDPM原文里面的alpha代表的不一样了,可能是为了方便起见了。通过推导可以得到:

反向过程也定义为马尔科夫链:

之后使用后验概率:

解得方差为定值,均值为:

通过变分推断和KL散度以及简化得到:

可以发现DDPM仅依赖于边缘分布,因此可以做其他修改。

DDIM:

为了构造非马尔科夫链的扩散过程,并且复用DDPM的训练过程,现在上面的公式变为:

并且我们自己构造一个分布,只要满足

即可。即前向过程具体怎样我们不需要管了。因此通过待定系数法可以得到:

这就是我们新的反向生成分布,也就是我们新的要去拟合的"终极目标"。
DDIM 中定义以下公式:

上面这个公式是基于T的。

对于t>=1的时候要满足:

通过数学归纳法(在论文中有证明过程)可以得到以下边缘分布公式,因此可以使用DDPM去进行训练:

通过xt和x0之间的关系(因为不是马尔科夫了,可以进行变换)推导得到以下公式:

并且通过证明得到DDPM中的Lsimple和DDIM中的损失是一致的。

论文中将方差定义为超参数

当标准差为0时,生成过程就是确定性的。

DDIM是一种模型,不能加速,但是我们可以使用技巧在DDIM上加速采样。

我们的采样过程是在一个更短的子序列上面进行的。

相关推荐
点云SLAM1 小时前
PyTorch 中.backward() 详解使用
人工智能·pytorch·python·深度学习·算法·机器学习·机器人
Learn Beyond Limits2 小时前
Transfer Learning|迁移学习
人工智能·python·深度学习·神经网络·机器学习·ai·吴恩达
程序员三明治2 小时前
三、神经网络
人工智能·深度学习·神经网络
fsnine4 小时前
深度学习——残差神经网路
人工智能·深度学习
和鲸社区5 小时前
《斯坦福CS336》作业1开源,从0手搓大模型|代码复现+免环境配置
人工智能·python·深度学习·计算机视觉·语言模型·自然语言处理·nlp
THMAIL5 小时前
深度学习从入门到精通 - LSTM与GRU深度剖析:破解长序列记忆遗忘困境
人工智能·python·深度学习·算法·机器学习·逻辑回归·lstm
Gyoku Mint5 小时前
NLP×第六卷:她给记忆加了筛子——LSTM与GRU的贴靠机制
人工智能·深度学习·神经网络·语言模型·自然语言处理·gru·lstm
ningmengjing_7 小时前
理解损失函数:机器学习的指南针与裁判
人工智能·深度学习·机器学习
THMAIL7 小时前
深度学习从入门到精通 - BERT与预训练模型:NLP领域的核弹级技术详解
人工智能·python·深度学习·自然语言处理·性能优化·bert
relis7 小时前
解密llama.cpp中的batch与ubatch:深度学习推理优化的内存艺术
深度学习·batch·llama