Stable diffusion 学习过程

diffusion model

讲解：

【较真系列】讲人话-Diffusion Model全解(原理+代码+公式)_哔哩哔哩_bilibili

stable diffusion【CVPR2022】

原始论文： https://arxiv.org/pdf/2112.10752

讲解：【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models_stable diffusion论文-CSDN博客

代码：

GitHub - CompVis/stable-diffusion: A latent text-to-image diffusion model

Dreambooth【CVPR 2023】

论文：https://arxiv.org/pdf/2208.12242v1

代码：

感觉就是sd换了一个损失函数，然后又加上了sr模块。

SnapFusion【NeurIPs 2023】

讲解：https://zhuanlan.zhihu.com/p/650739412

论文：https://arxiv.org/pdf/2306.00980

创新点：

1. 改进unet，将里面的结构去掉，分析效果，然后找到去掉结构后对网络影响最小的那几块使用；

2. 蒸馏，对DDPM的步数进行蒸馏

3. VAE Decoder 优化，使用蒸馏

感觉改进不是很多。

DeepCache【CVPR2024】

论文：https://arxiv.org/pdf/2312.00858

讲解：https://zhuanlan.zhihu.com/p/673114336

代码：GitHub - horseee/DeepCache: CVPR 2024 DeepCache: Accelerating Diffusion Models for Free

创新点：

找的角度很好，改进并不大，效果很好，就是将上一时刻的特征缓存下来，然后后续直接使用。

stable diffusion3

讲解：https://zhuanlan.zhihu.com/p/685457842

论文：https://arxiv.org/pdf/2403.03206

改变了forward和backward的格式，后续还需要再研究一下