ComfyUI学习旅程

一、模型文件(Checkpoint)

首先它很大,这些文件是你从huggingface或者civitai下载而来的,

所以这些大文件如 .ckpt 或 .safetensors ,实际上包含了什么内容呢?

它包含了包含了三种不同模型的权重:CLIP、主模型和VAE。

在默认的ComfyUI工作流中,由这里的CheckpointLoader加载模型到ComfyUI中。

你能看到它会有3种输出。

二、CLIP文本编码器(CLIP Text Encode)

让我们先看CLIP文本编码器这一条分流,注意CLIP又有两条分流,分别流向正面条件和负面条件。

CLIP文本编码器的作用就是把人类语言转换成模型能够理解的数据格式。

三、K 采样器 (KSampler)

CLIP文本编码器会流动到K采样器,图片就是通过这个采样器生成的。

在K采样器中,主要输入是Stable Diffusion的模型。

同时,正向提示词和反向提示词也是作为K采样器的输入。

四、空的潜在图像

最后,需要再来一个空潜在图像作为输入。(Empty Latent Image)

这是因为我们当前的场景是文生图。

五、降噪

于是采样器会利用这个潜在空图像,向这个潜在空图像添加噪声,然后使用Stable Diffusion的模型进行降噪。

具体的降噪过程是:编码后的正面和负面提示被传递给模型,在每个采样步骤中被用来指导去噪。

这种逐渐去噪的图像生成方式,正是Stable Diffusion生成图片的方式。

最终,采样器会输出一张降噪之后的图片。

六、VAE模型解码(VAE Decode)

最后的最后,Stable Diffusion会用到VAE模型。

VAE模型被用于把处于潜在空间的图像,转换成肉眼可见的像素图像。

潜在空间的数据是Stable Diffusion模型能够理解的数据。

而像素空间的图像是图片浏览器和人类能够用肉眼观察到的图像。

这个步骤,你可以看到来自采样器的Latent潜在空间的图像作为VAE编码器的输入,通过VAE解码之后,输出常规图像。

这就是简易的工作流的基本流程

相关推荐
yumgpkpm1 天前
华为昇腾910B上用Kubernetes(K8s)部署LLM和用Docker部署LLM的区别
docker·chatgpt·容器·stable diffusion·kubernetes·llama·gpu算力
语戚1 天前
Stable Diffusion 入门:架构、空间与生成流程概览
人工智能·ai·stable diffusion·aigc·模型
yumgpkpm2 天前
华为昇腾910B上用Kubernetes(K8s)部署LLM(Qwen3-32B)的详细步骤,保姆级命令及方法、下载链接等
运维·服务器·华为·stable diffusion·aigc·copilot·llama
平安的平安2 天前
Python 实现 AI 图像生成:调用 Stable Diffusion API 完整教程
人工智能·python·stable diffusion
孤岛站岗7 天前
【AI大模型入门】B02:Stable Diffusion——开源绘图,让AI绘画飞入寻常百姓家
人工智能·stable diffusion·开源
智星云算力7 天前
从创作到训练:Stable Diffusion WebUI全链路实战
人工智能·深度学习·stable diffusion·智星云·gpu算力租用
ai_xiaogui8 天前
PanelAI 最新进展:AI算力集群一键部署ComfyUI & Stable Diffusion,多节点Docker管理面板从原型到真实数据全解析
人工智能·docker·stable diffusion·ai算力集群管理·ai私有化部署工具·ai容器管理与算力调度实战·多节点docker服务器面板
scott1985129 天前
扩散模型之(二十)Stable Diffusion的运作原理
深度学习·stable diffusion·扩散模型·生成式
xingyuzhisuan9 天前
怎么快速在云上部署一个Stable Diffusion环境?(实操落地版)
人工智能·stable diffusion·ai绘画·gpu算力
scott19851211 天前
扩散模型之(十九)stable diffusion的演进与技术路线
stable diffusion