ComfyUI绘画|Stable Diffusion原理的简易讲解

ComfyUI 是节点式的,需要自己来搭建节点出图。

网络上有千千万万的工作流可以直接套用,

但如果想要真正摸透 ComfyUI 的逻辑,你不懂 SD 的原理,是无法自己搭建工作流的。

生噪与去噪

Stable Diffusion 翻译成中文是指 稳定的扩散,整个 SD 都是基于这个 Diffusion(扩散算法)来生图的。

扩散算法的原理简单来讲,就是生噪(生成噪点)到去噪(去除噪点)的过程:

翻译

我们输入的提示词,例如:1 beautiful girl

计算机是无法理解自然语言的,而是需要通过转译,变成计算机能懂的机器语言,

在 AI绘画 中,这个翻译叫做 CLIP(Text Encoder 文本编码器的一种),就是把人类的语言翻译成计算机能理解的语言,也就是将 文本信息 转换为 数字化描述

接着,CLIP算法会根据此模型被调教的经验,大概感知到 1 beautiful girl 这组关键词会有哪些特征,

完成翻译之后,下一步进入到 Latent Space(潜空间)

压缩

所有数据进入到潜空间,会被压缩得特别小,从而降低算力成本

去噪

AI生图,是 生噪(生成噪点)到去噪(去除噪点)的过程,进入到潜空间内,需要经过 U-net 对噪点(随机种子)进行引导,起到去噪的作用。

解码

这一步,需要通过 VAE解码器 来进行解码,让计算器输出我们能够理解的图像,完成了出图。

总结

Stable Diffusion 的工作原理,可以用一下的流程图来理解:

今天先分享到这里~


ComfyUI绘画|关于 ComfyUI 的学习建议

相关推荐
科研服务器mike_leeso7 分钟前
41 年 7 次转型!戴尔从 PC 到 AI 工厂的技术跃迁与组织重构
大数据·人工智能·机器学习
大千AI助手20 分钟前
机器学习模型评估指标AUC详解:从理论到实践
人工智能·机器学习·模型评估·roc·precision·recall·auc
2501_9139817829 分钟前
2025年智能家居无线数传设备品牌方案精选
大数据·人工智能·智能家居
不老刘33 分钟前
GitHub Spec-Kit:AI 时代的规范驱动开发工具
人工智能·github·spec-kit
mit6.82436 分钟前
[tile-lang] 张量核心 | 传统MMA->WGMMA | 底层自动选择优化
人工智能·chatgpt
csuzhucong36 分钟前
人类知识体系分类
人工智能·分类·数据挖掘
DisonTangor44 分钟前
Lumina-DiMOO:用于多模态生成与理解的全扩散大语言模型
人工智能·语言模型·自然语言处理·ai作画·aigc
golang学习记1 小时前
阿里又出手了,发布全新终端CLI工具,还支持VSCode
人工智能
机器之心1 小时前
具身智能迎来ImageNet时刻:RoboChallenge开放首个大规模真机基准测试集
人工智能·openai
lanyancloud_JX1 小时前
公路工程项目管理软件选型指南
人工智能