stable diffusion系列(1)------概述

本文是对李宏毅老师的课程的总结,B站链接如下:
stable diffusion(1)概述

讲最经典的DDPM。

1. DDPM图像生成是一个多个step的去噪过程

DDPM是一个从噪声图像中通过不断去噪(经过很多个step),生成图像的过程。

"雕像本来就已经存在石头里,只是把多余的去掉。"

问题是,这么多个step用的是同一个去噪模型吗?是的!!!但是不同的step含有的噪声大小是不一样的,所以,去噪模型还需要知道是哪个step(噪声的大小程度)。

2. 去噪模型内部机制

(1)有一个噪声预测模型(Noise Predicter),输入时带有噪声的图片和当前的step代号,输出是该图片含有的噪声

(2)带有噪声的图片减去预测的噪声

3. 如何训练这个噪声预测模型?

这个训练过程肯定需要当前这个step的噪声作为ground truth

这个ground truth其实是自己加的。这需要一个前向加噪的过程(扩散过程)。

4. 把文本加进来

需要图像文本对,LAION图像文本对5.85B

把文本输入到去噪模型中,让模型根据文本去噪。

把文本输入到去噪模型中,实际上也就是输入到噪声预测模型中.

相关推荐
qq_398898936 天前
【简单三步】Stable diffusion Webai本地部署无法加载模型并报openai/clip-vit-large-patch14错误的解决方法
stable diffusion
ai_xiaogui6 天前
AIStarter用户与创作者模式详解:一键管理Stable Diffusion项目!
人工智能·stable diffusion·一键发布ai项目·熊哥aistarter教程·开发者必备aistarter
一禅(OneZen)7 天前
「Windows/Mac OS」AIGC图片生成视频 ,webui + stable-diffusion环境部署教程
windows·stable diffusion
ai_xiaogui9 天前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装
sigmoidAndRELU10 天前
读Vista
笔记·stable diffusion·世界模型
修炼室25 天前
Stable Diffusion WebUI 本地部署完整教程
stable diffusion
NetX行者25 天前
Stable Diffusion:开启AI图像生成新纪元
人工智能·stable diffusion
这是一个懒人1 个月前
SD和comfyui常用模型介绍和下载
stable diffusion·comfyui·模型下载
有点小帅得平哥哥1 个月前
Stable Diffusion WebUI 本地部署指南(Windows 11 + RTX 4060 Ti)
stable diffusion
CoovallyAIHub1 个月前
突破异常数据瓶颈!AnomalyAny:一句话+一张图,零样本生成任意异常图像
计算机视觉·stable diffusion