ComfyUI 是节点式的,需要自己来搭建节点出图。
网络上有千千万万的工作流可以直接套用,
但如果想要真正摸透 ComfyUI 的逻辑,你不懂 SD 的原理,是无法自己搭建工作流的。
生噪与去噪
Stable Diffusion
翻译成中文是指 稳定的扩散
,整个 SD 都是基于这个 Diffusion(扩散算法)来生图的。
扩散算法的原理简单来讲,就是生噪(生成噪点)到去噪(去除噪点)的过程:
翻译
我们输入的提示词,例如:1 beautiful girl
,
计算机是无法理解自然语言的,而是需要通过转译,变成计算机能懂的机器语言,
在 AI绘画 中,这个翻译叫做 CLIP
(Text Encoder 文本编码器的一种),就是把人类的语言翻译成计算机能理解的语言,也就是将 文本信息
转换为 数字化描述
。
接着,CLIP
算法会根据此模型被调教的经验,大概感知到 1 beautiful girl
这组关键词会有哪些特征,
完成翻译之后,下一步进入到 Latent Space
(潜空间)
压缩
所有数据进入到潜空间,会被压缩得特别小,从而降低算力成本
去噪
AI生图,是 生噪(生成噪点)到去噪(去除噪点)的过程,进入到潜空间内,需要经过 U-net
对噪点(随机种子)进行引导,起到去噪的作用。
解码
这一步,需要通过 VAE解码器
来进行解码,让计算器输出我们能够理解的图像,完成了出图。
总结
Stable Diffusion 的工作原理,可以用一下的流程图来理解:
今天先分享到这里~