ComfyUI绘画|Stable Diffusion原理的简易讲解

ComfyUI 是节点式的,需要自己来搭建节点出图。

网络上有千千万万的工作流可以直接套用,

但如果想要真正摸透 ComfyUI 的逻辑,你不懂 SD 的原理,是无法自己搭建工作流的。

生噪与去噪

Stable Diffusion 翻译成中文是指 稳定的扩散,整个 SD 都是基于这个 Diffusion(扩散算法)来生图的。

扩散算法的原理简单来讲,就是生噪(生成噪点)到去噪(去除噪点)的过程:

翻译

我们输入的提示词,例如:1 beautiful girl

计算机是无法理解自然语言的,而是需要通过转译,变成计算机能懂的机器语言,

在 AI绘画 中,这个翻译叫做 CLIP(Text Encoder 文本编码器的一种),就是把人类的语言翻译成计算机能理解的语言,也就是将 文本信息 转换为 数字化描述

接着,CLIP算法会根据此模型被调教的经验,大概感知到 1 beautiful girl 这组关键词会有哪些特征,

完成翻译之后,下一步进入到 Latent Space(潜空间)

压缩

所有数据进入到潜空间,会被压缩得特别小,从而降低算力成本

去噪

AI生图,是 生噪(生成噪点)到去噪(去除噪点)的过程,进入到潜空间内,需要经过 U-net 对噪点(随机种子)进行引导,起到去噪的作用。

解码

这一步,需要通过 VAE解码器 来进行解码,让计算器输出我们能够理解的图像,完成了出图。

总结

Stable Diffusion 的工作原理,可以用一下的流程图来理解:

今天先分享到这里~


ComfyUI绘画|关于 ComfyUI 的学习建议

相关推荐
智驱力人工智能30 分钟前
守护流动的规则 基于视觉分析的穿越导流线区检测技术工程实践 交通路口导流区穿越实时预警技术 智慧交通部署指南
人工智能·opencv·安全·目标检测·计算机视觉·cnn·边缘计算
AI产品备案30 分钟前
生成式人工智能大模型备案制度与发展要求
人工智能·深度学习·大模型备案·算法备案·大模型登记
AC赳赳老秦34 分钟前
DeepSeek 私有化部署避坑指南:敏感数据本地化处理与合规性检测详解
大数据·开发语言·数据库·人工智能·自动化·php·deepseek
wm104344 分钟前
机器学习之线性回归
人工智能·机器学习·线性回归
通义灵码1 小时前
Qoder 支持通过 DeepLink 添加 MCP Server
人工智能·github·mcp
hkNaruto1 小时前
【AI】AI学习笔记:MCP协议与gRPC、OpenAPI的差异
人工智能·笔记·学习
狮子座明仔1 小时前
SimpleMem:让AI智能体拥有“过目不忘“的高效记忆系统
人工智能·microsoft
roamingcode1 小时前
超越 Context Window:为何文件系统是 AI Agent 的终极记忆体
人工智能·agent·cursor·claude code·上下文工程·skill 技能
秉承初心1 小时前
ModelEngine 就像搭积木:技术原理是零件,选型案例是说明书
ai·大模型·modelengine
笨鸟笃行1 小时前
0基础小白使用ai能力将本地跑的小应用上云(作为个人记录)
人工智能·学习