『ComfyUI』初识工作流

点赞 + 关注 + 收藏 = 学会了

本文简介

学习 ComfyUI 就必须了解什么是工作流。

在 WebUI 中，我们是通过"填写表单"的方式让 Stable Diffusion 去生成图像的。在 ComfyUI 中用了更灵活的方式：工作流。

「工作流」是指一系列节点的排列和连接方式，用来实现特定的图像生成或处理任务。

这么说还是有点晦涩难懂，举个例子。

你去餐厅吃饭，一般是找服务员或者自己扫码点菜，后厨接到任务就开始做菜，菜做好了服务员就端到你餐桌上。这个流程就和 WebUI 一样。你点餐的动作就是在填写表单，至于厨师做菜的流程是怎样的你不需要了解。

餐厅不止一个类型，现在还有很多自助火锅、自助烤肉的店。在这些店里，你除了要下单选择食材，还需要自己动手去做菜。在做菜的过程中，你需要自己设定什么时候放肉进去烤，是先刷了酱再烤还是烤完再刷酱，这些流程都能自己掌控。这就好比 ComfyUI 的工作流。

ComfyUI 是一个基于节点的用户界面，在这个界面中，"工作流" 包括以下几个主要部分：

在这个界面中，每个框都是一个节点，节点和节点之间都有一根根线连接起来。

每个节点都有「输入端口」和「输出端口」，通常节点左侧的端口是输入端口，节点右侧的端口是输出端口。

整个工作流看起来其实和工厂的流水线一样，A节点完成一道工序后就把物料交给B节点处理，B节点完成自己的任务后又交给下一个节点，直至原材料变成成品或者废品为止。

在 ComfyUI 新建工作流通常会在工作区自动创建好一个默认的工作流。如果没默认创建工作流的话也可以手动加载出来。

工作流 - 浏览模板 - Image Generation

这个「默认工作流模板」包含「输入」、「潜空间」、「输出」三大部分。

ComfyUI 每个节点都有不同颜色的端口，通常节点右侧的是输出端口，左侧是输入端口。节点和节点之间通过连接线连接起来，上一个节点的输出端口会连到下一个节点的输入端口。

每一个端口的颜色要相互匹配上才行，不同颜色的端口是无法连接起来的。

在 ComfyUI 中，一个输出端口是可以连接多个不同节点的，但所有节点的输入端口都只能连一根线。

也就是说，输出端口可以一对多，输入端口只能一对一。起码在写本文时我还没遇到输入端口可以一对多的情况（可能我见识少）。这和现在流行的智能体工作流有点不一样。比如前面介绍过Dify的工作流的某些节点的输入端口可以接受接个输入源。

了解了节点的连接方式后，接下来看看输入模块的内容。

第一个节点是「Checkpoint加载器」，在这个节点底部的选择器里选择大模型。

我通常会在这几个平台下载大模型。

「Checkpoint加载器」右侧有几个输出端口：

模型端口是将你选择好的大模型输出给K采样器 ，K采样器的配置等下再讲解。
CLIP的全称是 Contrastive Language Image Pre-trainingtraining，它是Open AI 在2021年发布的一款多模态预训练神经网络模型。它的主要作用是理解我们输入的文字，然后再把它理解好的内容转换成 Stable Diffusion 能理解的信息，再加载到潜空间去。
VAE的全称是 Variational Auto Encoder，中文名叫"变分自编码器"。它是一种深度学习模型，主要用于无监督学习任务。简单来讲，它就是个"图片翻译器"。它可以将 Stable Diffusion 处理好的内容转换成我们肉眼能看的图片，也可以在「图生图」时将我们上传的图片转换成 Stable Diffusion 能理解的内容。

所以，在这个 Demo 里，Checkpoint加载器 的模型是给K采样器用的，然后再分2条线出来连接「正面提示词」和「负面提示词」。正面提示词输入的内容是你想要生成的图像信息，而负面提示词则输入你不想让 AI 生成的信息。