扩散模型Stable Diffusion

扩散模型构成

Text Encoder(CLIPText)

Clip Text为文本编码器。以77 token为输入,输出为77 token 嵌入向量,每个向量有768维度。

Diffusion(UNet+Scheduler)

在潜在空间中逐步处理扩散信息。以文本嵌入向量和由噪声组成的起始多维数组为输入,输出处理的信息数组。

UNet

训练过程
  1. 随机噪声添加到图像上,构成一个训练样本
  2. 不同的噪声不同的图像,可构成训练集
  3. 使用上述训练集,训练噪声预测模型(Unet)
推理过程

通常来说一个U-Net包含两个输入:

  • Noisy latent/Noise : 该Noisy latent主要是由VAE编码器产生并在其基础上添加了噪声;或者如果我们想仅根据文本描述来创建随机的新图像,则可以采用纯噪声作为输入。
  • Text embeddings: 基于CLIP的将文本输入提示转化为文本语义嵌入(embedding)

U-Net模型的输出:

  • 从包含输入噪声的Noisy Latents中预测其所包含的噪声。换句话说,它预测输出的为Noisy Latents减去de-noised latents后的结果。

Scheduler

scheduler的目的是确定在扩散过程中的给定的步骤中向latent 添加多少噪声。随着step的增大,添加噪声的权重在逐渐减小。

相关推荐
leafff1235 天前
Stable Diffusion在进行AI 创作时对算力的要求
人工智能·stable diffusion
leafff1235 天前
Stable Diffusion进行AIGC创作时的算力优化方案
人工智能·stable diffusion·aigc
ding_zhikai5 天前
stable-diffusion试验2-像素人物帧动画2(含 AnimeEffects 简易教程 等)
stable diffusion
ding_zhikai5 天前
SD:在一个 Ubuntu 系统安装 stable diffusion ComfyUI
linux·ubuntu·stable diffusion
ding_zhikai6 天前
stable-diffusion试验2-像素人物帧动画1
stable diffusion
wg26276 天前
Stable Diffusion 安装教程(详细)_stable diffusion安装
stable diffusion
weiwei228446 天前
ControlNet——AI图像生成的“精准操控工具”
stable diffusion·controlnet
RanceGru8 天前
LLM学习笔记5——本地部署ComfyUI和Wan2.1-T2V-1.3B文生视频模型
笔记·学习·stable diffusion·transformer
ding_zhikai9 天前
stable-diffusion试验1-静态人物
stable diffusion
love530love12 天前
【笔记】 Podman Desktop 中部署 Stable Diffusion WebUI (GPU 支持)
人工智能·windows·笔记·python·容器·stable diffusion·podman