stable diffusion系列(1)------概述

本文是对李宏毅老师的课程的总结,B站链接如下:
stable diffusion(1)概述

讲最经典的DDPM。

1. DDPM图像生成是一个多个step的去噪过程

DDPM是一个从噪声图像中通过不断去噪(经过很多个step),生成图像的过程。

"雕像本来就已经存在石头里,只是把多余的去掉。"

问题是,这么多个step用的是同一个去噪模型吗?是的!!!但是不同的step含有的噪声大小是不一样的,所以,去噪模型还需要知道是哪个step(噪声的大小程度)。

2. 去噪模型内部机制

(1)有一个噪声预测模型(Noise Predicter),输入时带有噪声的图片和当前的step代号,输出是该图片含有的噪声

(2)带有噪声的图片减去预测的噪声

3. 如何训练这个噪声预测模型?

这个训练过程肯定需要当前这个step的噪声作为ground truth

这个ground truth其实是自己加的。这需要一个前向加噪的过程(扩散过程)。

4. 把文本加进来

需要图像文本对,LAION图像文本对5.85B

把文本输入到去噪模型中,让模型根据文本去噪。

把文本输入到去噪模型中,实际上也就是输入到噪声预测模型中.

相关推荐
程序员大辉1 天前
Z-Image迷你整合包:只有10G大小,5G小显存也能跑的Stable Diffusion文生图工具
stable diffusion·文生图·sd·z-image
嗝o゚3 天前
昇腾CANN cann-recipes-infer 仓:Stable Diffusion 推理加速方案
人工智能·stable diffusion·cann
菜鸟是大神3 天前
04-高效编写CLAUDE.md
数据库·chatgpt·ai作画·stable diffusion·文心一言·dall·e 2
Rocky Ding*6 天前
昔日AI绘画框架王者Stable Diffusion WebUI,已死
人工智能·深度学习·机器学习·chatgpt·ai作画·stable diffusion·aigc
艾古力斯6 天前
比迪丽AI绘画模型Python爬虫实战:自动化采集艺术素材
stable diffusion·ai绘画·python爬虫
风落无尘8 天前
Stable Diffusion WebUI & ComfyUI 完整安装教程:官方部署+一键整合包+Docker容器化(2026最新)
docker·容器·stable diffusion
code_pgf8 天前
Stable-Diffusion模型中常见 Stable Diffusion Sampling 方法
人工智能·stable diffusion
水上冰石9 天前
v1-5-pruned-emaonly.safetensors 搭配mm_sd_v15_v2.ckpt 生成视频,具体操作步骤
stable diffusion·音视频·文生视频
日光明媚10 天前
TensorRT-LLM 中对 wan 加速流程与方法
人工智能·python·计算机视觉·stable diffusion·aigc
风落无尘10 天前
AIGC(Stable Diffusion 生态)常用知识与参数速查手册
人工智能·stable diffusion·aigc