Diffusion Model && Stable Diffusion(笔记)

参考资料：

文章目录

• DDPM架构
• 模型如何拥有产生逼真图片的能力
• • Denoise模型功能
  • Denoise模型如何训练
  • 考虑进文字
• [文生图流程(Stable Diffusion)](#文生图流程(Stable Diffusion))

DDPM架构

模型如何拥有产生逼真图片的能力

Denoise模型功能

通过Denoise将一个噪音图一步步生成为目标图像

Denoise实际功能是通过一个图x+时间戳，生成该图中噪音点y，然后用原图x-y得到去掉噪音点的图

Denoise模型如何训练

Denoise模型的能力是根据图x和时间戳，识别x中的噪音点。那么训练就是反过来

x(原图)+噪音y(随机高斯分布得到)=噪音图z

现在将z和时间戳作为数据，然后将噪音y作为标准答案，然后巡训练模型

考虑进文字

就是输入的时候多输入一个文字信息，训练的时候也是多输入一个文字信息

文生图流程(Stable Diffusion)