ComfyUI绘画|Stable Diffusion原理的简易讲解

ComfyUI 是节点式的,需要自己来搭建节点出图。

网络上有千千万万的工作流可以直接套用,

但如果想要真正摸透 ComfyUI 的逻辑,你不懂 SD 的原理,是无法自己搭建工作流的。

生噪与去噪

Stable Diffusion 翻译成中文是指 稳定的扩散,整个 SD 都是基于这个 Diffusion(扩散算法)来生图的。

扩散算法的原理简单来讲,就是生噪(生成噪点)到去噪(去除噪点)的过程:

翻译

我们输入的提示词,例如:1 beautiful girl

计算机是无法理解自然语言的,而是需要通过转译,变成计算机能懂的机器语言,

在 AI绘画 中,这个翻译叫做 CLIP(Text Encoder 文本编码器的一种),就是把人类的语言翻译成计算机能理解的语言,也就是将 文本信息 转换为 数字化描述

接着,CLIP算法会根据此模型被调教的经验,大概感知到 1 beautiful girl 这组关键词会有哪些特征,

完成翻译之后,下一步进入到 Latent Space(潜空间)

压缩

所有数据进入到潜空间,会被压缩得特别小,从而降低算力成本

去噪

AI生图,是 生噪(生成噪点)到去噪(去除噪点)的过程,进入到潜空间内,需要经过 U-net 对噪点(随机种子)进行引导,起到去噪的作用。

解码

这一步,需要通过 VAE解码器 来进行解码,让计算器输出我们能够理解的图像,完成了出图。

总结

Stable Diffusion 的工作原理,可以用一下的流程图来理解:

今天先分享到这里~


ComfyUI绘画|关于 ComfyUI 的学习建议

相关推荐
大C聊AI3 小时前
通用办公 AI 难以适配招投标专业场景,垂直行业 AI 工具落地实践|智标领航技术选型分析
人工智能·效率提升·ai 工具·招投标·智标领航·ai 辅助办公
海天一色y3 小时前
AI Agent的自进化闭环
人工智能
大鱼>3 小时前
超参数调优进阶:Optuna/Bayesian/Early Stopping
人工智能·学习·机器学习·聚类
VIP_CQCRE3 小时前
OpenAI Chat Completion API 接入指南:用 Ace Data Cloud 快速把 ChatGPT 能力接进业务系统
人工智能·chatgpt·openai·api·acedatacloud
梦想的初衷~3 小时前
【科研自动化实战】Codex × Claude Code × OpenClaw × Hermes:四位AI研究员的科研协作流水线搭建指南
人工智能·codex·claude code·openclaw·科研自动化·agent协作·ai科研助手
m0_626535204 小时前
近似attention
人工智能·算法·机器学习
咖啡屋和酒吧4 小时前
无锡干细胞领域发展纪实
大数据·人工智能
weixin_446260854 小时前
AgentsCAD:基于多智能体大模型推理与几何特征识别的FDM增材制造自动化设计
人工智能·自动化·制造
bkl_92134 小时前
AI Agent 零基础入门:基于GPT-5.5搭建自动化工作流全实操
人工智能·gpt·自动化
Xi-Xu4 小时前
什么时候需要 Multi-agent:不是分工,而是运行边界
人工智能·经验分享·安全