ComfyUI绘画|Stable Diffusion原理的简易讲解

ComfyUI 是节点式的,需要自己来搭建节点出图。

网络上有千千万万的工作流可以直接套用,

但如果想要真正摸透 ComfyUI 的逻辑,你不懂 SD 的原理,是无法自己搭建工作流的。

生噪与去噪

Stable Diffusion 翻译成中文是指 稳定的扩散,整个 SD 都是基于这个 Diffusion(扩散算法)来生图的。

扩散算法的原理简单来讲,就是生噪(生成噪点)到去噪(去除噪点)的过程:

翻译

我们输入的提示词,例如:1 beautiful girl

计算机是无法理解自然语言的,而是需要通过转译,变成计算机能懂的机器语言,

在 AI绘画 中,这个翻译叫做 CLIP(Text Encoder 文本编码器的一种),就是把人类的语言翻译成计算机能理解的语言,也就是将 文本信息 转换为 数字化描述

接着,CLIP算法会根据此模型被调教的经验,大概感知到 1 beautiful girl 这组关键词会有哪些特征,

完成翻译之后,下一步进入到 Latent Space(潜空间)

压缩

所有数据进入到潜空间,会被压缩得特别小,从而降低算力成本

去噪

AI生图,是 生噪(生成噪点)到去噪(去除噪点)的过程,进入到潜空间内,需要经过 U-net 对噪点(随机种子)进行引导,起到去噪的作用。

解码

这一步,需要通过 VAE解码器 来进行解码,让计算器输出我们能够理解的图像,完成了出图。

总结

Stable Diffusion 的工作原理,可以用一下的流程图来理解:

今天先分享到这里~


ComfyUI绘画|关于 ComfyUI 的学习建议

相关推荐
ZOMI酱39 分钟前
【AI系统】GPU 架构回顾(从2018年-2024年)
人工智能·架构
土豆炒马铃薯。1 小时前
【深度学习】Pytorch 1.x 安装命令
linux·人工智能·pytorch·深度学习·ubuntu·centos
阿_旭1 小时前
【超全】目标检测模型分类对比与综述:单阶段、双阶段、有无锚点、DETR、旋转框
人工智能·深度学习·目标检测·分类
研一计算机小白一枚1 小时前
Which Tasks Should Be Learned Together in Multi-task Learning? 译文
人工智能·python·学习·机器学习
xianghan收藏册1 小时前
基于lora的llama2二次预训练
人工智能·深度学习·机器学习·chatgpt·transformer
Eric.Lee20212 小时前
数据集-目标检测系列- 蘑菇 检测数据集 mushroom >> DataBall
人工智能·python·yolo·目标检测·计算机视觉·蘑菇检测
像污秽一样2 小时前
根据气候变化自动制定鲜花存储策略(BabyAGI)
人工智能·chatgpt·langchain
Struart_R2 小时前
Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis 论文解读
人工智能·深度学习·计算机视觉·3d·transformer·三维重建·新视角生成
不去幼儿园2 小时前
【RL Base】多级反馈队列(MFQ)算法
人工智能·python·算法·机器学习·强化学习
土豆炒马铃薯。2 小时前
CUDA,PyTorch,GCC 之间的版本关系
linux·c++·人工智能·pytorch·python·深度学习·opencv