stable diffusion系列(1)------概述

本文是对李宏毅老师的课程的总结,B站链接如下:
stable diffusion(1)概述

讲最经典的DDPM。

1. DDPM图像生成是一个多个step的去噪过程

DDPM是一个从噪声图像中通过不断去噪(经过很多个step),生成图像的过程。

"雕像本来就已经存在石头里,只是把多余的去掉。"

问题是,这么多个step用的是同一个去噪模型吗?是的!!!但是不同的step含有的噪声大小是不一样的,所以,去噪模型还需要知道是哪个step(噪声的大小程度)。

2. 去噪模型内部机制

(1)有一个噪声预测模型(Noise Predicter),输入时带有噪声的图片和当前的step代号,输出是该图片含有的噪声

(2)带有噪声的图片减去预测的噪声

3. 如何训练这个噪声预测模型?

这个训练过程肯定需要当前这个step的噪声作为ground truth

这个ground truth其实是自己加的。这需要一个前向加噪的过程(扩散过程)。

4. 把文本加进来

需要图像文本对,LAION图像文本对5.85B

把文本输入到去噪模型中,让模型根据文本去噪。

把文本输入到去噪模型中,实际上也就是输入到噪声预测模型中.

相关推荐
wei_shuo1 天前
GpuGeek 实操指南:So-VITS-SVC 语音合成与 Stable Diffusion 文生图双模型搭建,融合即梦 AI 的深度实践
人工智能·stable diffusion·gpu算力·gpuseek
这是一个懒人3 天前
Stable Diffusion WebUI 插件大全:功能详解与下载地址
stable diffusion
浪淘沙jkp3 天前
AI大模型学习十八、利用Dify+deepseekR1 +本地部署Stable Diffusion搭建 AI 图片生成应用
人工智能·stable diffusion·agent·dify·ollama·deepseek
Icoolkj4 天前
深入了解 Stable Diffusion:AI 图像生成的奥秘
人工智能·stable diffusion
这是一个懒人5 天前
mac 快速安装stable diffusion webui
macos·stable diffusion
璇转的鱼5 天前
Stable Diffusion进阶之Controlnet插件使用
人工智能·ai作画·stable diffusion·aigc·ai绘画
AloneCat20126 天前
stable Diffusion模型结构
stable diffusion
西西弗Sisyphus6 天前
Stable Diffusion XL 文生图
stable diffusion
霍志杰7 天前
stable-diffusion windows本地部署
windows·stable diffusion
昨日之日20067 天前
ACE-Step - 20秒生成4分钟完整歌曲,音乐界的Stable Diffusion,支持50系显卡 本地一键整合包下载
计算机视觉·stable diffusion·音视频