【Diffusion Model】发展历程

扩散模型从出现发展到今天已经成为深度学习领域的一个庞大的分支,对于刚刚踏入扩散模型领域的同学,了解扩散模型发展的历程才能在这浩瀚的文献之海中找到到达彼岸的一条航线。

扩散模型(Diffusion Models)是近年来快速发展的生成模型家族,其核心思想是通过逐步添加和去除噪声来学习数据分布。以下是其发展历程及关键论文和模型的梳理:

1. 理论基础与早期探索(2015)

2015年:《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》(ICML 2015)

作者:Jascha Sohl-Dickstein 等

论文链接:https://arxiv.org/abs/1503.03585

贡献:首次将非平衡统计物理中的扩散过程与生成模型结合,提出通过前向过程逐步加噪和反向过程去噪生成数据。

意义:扩散模型的雏形

2. 关键突破:DDPM(2020)

2020年:《Denoising Diffusion Probabilistic Models》(NeurIPS 2020)

作者:Jonathan Ho 等

模型简称: DDPM

论文链接:https://arxiv.org/abs/2006.11239

贡献:将扩散过程形式化为马尔可夫链,使用U-Net预测噪声。 引入重参数化技巧和简化损失函数,大幅提升训练稳定性。

意义:奠定了现代扩散模型的基础框架。

3. 加速采样与改进

2021年:《Improved Denoising Diffusion Probabilistic Models》(ICML 2021)

模型简称: IDDPM

作者:OpenAI团队

论文链接:https://arxiv.org/abs/2102.09672

代码仓库:https://github.com/openai/improved-diffusion 注:这个代码很重要哦!!!!

贡献: 引入可学习的方差和混合损失,提升生成质量。 提出分类器引导(Classifier Guidance),利用类别信息控制生成。

2021年:《Diffusion Models Beat GANs on Image Synthesis》(NeurIPS 2021)

模型简称:Guided Diffusion

作者:OpenAI团队

贡献:通过更大规模的U-Net架构和自适应归一化(Adaptive Group Normalization),首次在图像生成质量上超越GANs(如BigGAN)。 提出无分类器引导(Classifier-Free Guidance),避免依赖额外分类器。

2021年:《Denoising Diffusion Implicit Models》(ICLR 2021)

模型简称: DDIM

作者:Jiaming Song, Chenlin Meng, Stefano Ermon

贡献:提出了一种加速采样方法,采样50-100步就可以得到近似于1000步的效果。

4. 基于分数的扩散模型(SDE框架)

2019年:《Generative Modeling by Estimating Gradients of the Data Distribution》(NeurIPS 2019)

作者:Yang Song 等

贡献:提出基于分数的生成模型(Score-Based Models),通过估计数据分布的梯度生成样本。

2021年:《Score-Based Generative Modeling through Stochastic Differential Equations》(ICLR 2021)

作者:Yang Song 等

贡献: 将扩散模型与基于分数的方法统一为随机微分方程(SDE)框架。 提出预测器校正器采样(PC Sampler)加速生成。

5. 文本到图像生成

2022年:《Hierarchical Text-Conditional Image Generation with CLIP Latents》(OpenAI, 2022)

模型:DALLE2

贡献:结合CLIP的文本嵌入与扩散模型,实现高质量文本到图像生成。

2022年:《High-Resolution Image Synthesis with Latent Diffusion Models》(CVPR 2022)

作者:Stability AI团队

模型:Stable Diffusion

贡献: 在潜空间(Latent Space)进行扩散,大幅降低计算成本。 引入交叉注意力机制实现多模态(文本/图像)条件生成。

2023年:《SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis》

模型:Stable Diffusion XL(SDXL)

改进:更大规模模型,支持更高分辨率生成。

在整个发展历程中最重要的三篇文章: DDPMIDDPMDDIM ,这三篇大家搞懂了之后,其余的文章看起来也就没有什么压力了。

相关推荐
roamingcode几秒前
造工具还是雇专家?AI Agent 扩展的黄金法则
人工智能
昨日之日20062 分钟前
HeartMuLa - 用AI创作歌曲 输入歌词即可创作音乐 支持50系显卡 一键整合包下载
人工智能
70asunflower5 分钟前
SFT(监督微调,Supervised Fine-Tuning)
人工智能·深度学习·机器学习
TOPGUS9 分钟前
谷歌将移除部分搜索功能:面对AI时代的一次功能精简策略
前端·人工智能·搜索引擎·aigc·seo·数字营销
线束线缆组件品替网14 分钟前
Same Sky 标准化音频与电源线缆接口技术详解
人工智能·数码相机·电脑·音视频·硬件工程·材料工程
Saniffer_SH21 分钟前
【高清视频】笔记本电脑出现蓝屏、死机、慢、不稳定是这样连接分析M.2 SSD的
运维·服务器·网络·人工智能·驱动开发·嵌入式硬件·fpga开发
好奇龙猫21 分钟前
【人工智能学习-AI入试相关题目练习-第八次 】
人工智能·学习
薛不痒24 分钟前
项目:矿物分类(训练模型)
开发语言·人工智能·python·学习·算法·机器学习·分类
AAD5558889924 分钟前
伊蚊种类识别与分类——基于VFNet的蚊虫识别模型训练与实现
人工智能·数据挖掘
沃达德软件25 分钟前
模糊图像处理系统功能解析
图像处理·人工智能·深度学习·目标检测·计算机视觉·目标跟踪·超分辨率重建