stable diffusion系列(1)------概述

本文是对李宏毅老师的课程的总结,B站链接如下:
stable diffusion(1)概述

讲最经典的DDPM。

1. DDPM图像生成是一个多个step的去噪过程

DDPM是一个从噪声图像中通过不断去噪(经过很多个step),生成图像的过程。

"雕像本来就已经存在石头里,只是把多余的去掉。"

问题是,这么多个step用的是同一个去噪模型吗?是的!!!但是不同的step含有的噪声大小是不一样的,所以,去噪模型还需要知道是哪个step(噪声的大小程度)。

2. 去噪模型内部机制

(1)有一个噪声预测模型(Noise Predicter),输入时带有噪声的图片和当前的step代号,输出是该图片含有的噪声

(2)带有噪声的图片减去预测的噪声

3. 如何训练这个噪声预测模型?

这个训练过程肯定需要当前这个step的噪声作为ground truth

这个ground truth其实是自己加的。这需要一个前向加噪的过程(扩散过程)。

4. 把文本加进来

需要图像文本对,LAION图像文本对5.85B

把文本输入到去噪模型中,让模型根据文本去噪。

把文本输入到去噪模型中,实际上也就是输入到噪声预测模型中.

相关推荐
localbob9 天前
2025.10.17 更新 AI绘画秋葉aaaki整合包 Stable Diffusion整合包v4.10 +ComfyUI整合包下载地址
ai作画·stable diffusion·comfyui·整合包·秋叶整合包
qsc9012345679 天前
AI绘画新手必看:Stable Diffusion与Midjourney的保姆级入门指南(附免费资源)
stable diffusion·aigc·midjourney·ai绘画
爱绘画的彤姐9 天前
【AI工具大盘点】AI绘画利器:Stable-Diffusion-ComfyUI保姆级教程
人工智能·ai作画·stable diffusion·aigc·comfyui·dall·e 2·ai工具
Keep_Trying_Go10 天前
基于stable diffusion图像生成的小小demo应用(pytorch)
人工智能·stable diffusion
weixin_4806416110 天前
一款全能型 AI 设计修图工具实测:椒图 AI,Nano Banana Pro 加持,电商 / 修图 / 设计一站式解决
大数据·图像处理·人工智能·ai作画·stable diffusion·aigc·midjourney
学易1 个月前
第二十节.探索新技术:如何自学SD3模型(上)(找官方资料/精读/下载/安装/3款工作流/效果测试)
人工智能·ai作画·stable diffusion·comfyui·工作流·sd3
Bachnroth1 个月前
Stable Diffusion 3.5 FP8镜像负载均衡配置建议
stable diffusion· fp8· 负载均衡
新缸中之脑1 个月前
Stable Diffusion的3个替代方案
人工智能·stable diffusion
2401_828890641 个月前
实现扩散模型 Stable Diffusion - MNIST 数据集
人工智能·python·深度学习·stable diffusion
凯子坚持 c1 个月前
在 openJiuwen 里把在线小工具搬回本地
人工智能·windows·stable diffusion·openteledb·openclaw