【Vision人工智能设计】ComfyUI 基础图生图设计

⚡⚡⚡ 新年新文⚡⚡⚡

文章目录

- [1，ComfyUI 基础图生图工作流的使用](#1，ComfyUI 基础图生图工作流的使用)
- [2，ComfyUI 图生图工作流中 LoRA 风格化小模型的使用](#2，ComfyUI 图生图工作流中 LoRA 风格化小模型的使用)
- - [2.1，LoRA 在图生图中的作用](#2.1，LoRA 在图生图中的作用)
  - [2.2，搭建图生图 + LoRA 工作流](#2.2，搭建图生图 + LoRA 工作流)
  - 2.3，参数设置
  - 2.4，运行与效果对比
- [3，ComfyUI 图生图使用 LoRA, 结合 ControlNet 精准控图的使用](#3，ComfyUI 图生图使用 LoRA, 结合 ControlNet 精准控图的使用)

1，ComfyUI 基础图生图工作流的使用

本节通过加载图像节点与VAE编码节点实现图像风格转换，重点讲解如何将文生图工作流改造为图生图流程。

内容包括添加图像加载节点、配置VAE编码器，以及使用Image Resize节点调整输出尺寸。

解析降噪参数的调节方法，以0.75--0.8的典型范围为例，说明如何在保留原图特征与生成新风格之间取得平衡，掌握将真实照片转化为 3D CG 风格图像的核心技术。

用一张真实人物照片生成的3D CG风格图像

生成后的人物姿势和表情都保持了原样，只是风格变成了我们想要的3D CG效果。这就是通过提示词来实现的。

1.1，核心节点

加载图像（Load Image）节点，它的作用很简单，就是让我们选择要用哪张图片来生成新图像。
VAE编码（VAE Encode）节点，它负责把像素空间转换成潜空间，这是生成模型能处理的格式。
图像缩放（Image Resize）节点，比如原图是1:1的正方形，但我们需要9:16的竖版图片，就可以用它来调整尺寸。

1.2，搭建方法

在现有的文生图工作流上修改
首先双击添加加载图像（Load Image）节点
然后从Latent菜单里拉出 VAE编码（VAE Encode）节点，替换掉原来的空Latent(Empty Latent Image)节点
把原图连接到 VAE编码（VAE Encode）节点，再把 VAE连接到VAE模型
图像尺寸调整（可选）如果需要调整图像尺寸，可以插入一个（Image Resize）节点；设置参数时，建议尺寸（widthheight）设为7201280，插值（nterpolatior）选bicubic，方法（methoc）选fill/crop，条件（condition）设为always，乘数（multiple_of）设为0

连接好后，在右侧接口拉出预览节点，就能看到裁剪效果了

1.3，参数调试与生成效果

1.3.1，提示词输入

工作流搭建好后，就要输入提示词了。比如想让真人变成CG人物，可以加上"3D"、"CG"这样的关键词

1.3.1，降噪参数（Denoise）

这里要特别注意"降噪（denoise）"这个参数：设为1时，生成结果会和原图完全不同；

设为0时，就会完全复制原图；

想要结合原图和提示词的效果，建议设置在0.75-0.8之间。

举个例子，设为0.75时，生成图像会比较接近原图；

设为0.8时，CG风格会更明显，但人物姿态、表情和背景都会保持原样

调整这个数值，数值越小越接近原图，数值越大变化越明显。

2，ComfyUI 图生图工作流中 LoRA 风格化小模型的使用

在 ComfyUI 的图生图工作流中集成 LoRA 风格化小模型；完整工作流的搭建方法，包括参数设置与触发词编写，并通过多组图像实验，理解降噪参数对最终效果的影响。

2.1，LoRA 在图生图中的作用

现在下图中大家看到的，就是在图生图工作流里加入了一个 LoRA 毛线针织模型后得到的效果。最终生成的图像就呈现出了毛线针织的质感和纹理。

LoRA 的作用，它主要是用来控制生成图片的风格。

2.2，搭建图生图 + LoRA 工作流

整体来说，图生图加上 LoRA 的工作流，其实就是在原本的图生图流程中，多加了一个 LoRA 模型节点。

最基础的图生图工作流

双击鼠标搜索出加载LoRA（Load LoRA）节点，把它拖进来；
把节点连接好：模型(model)接模型(model)；
CLIP 接 CLIP，相同颜色对接到同样的原点

2.3，参数设置

首先要选择具体的 LoRA 模型，这里我们用到的是毛线针织的模型
然后设置模型的强调参数，它会直接影响生成图像的风格、纹理和细节。我把它调整到了 0.98
CLIP 的强调参数则是影响提示词和图像之间的语义对齐程度，默认就是 1，就保持不变就可以

2.4，运行与效果对比

使用 LoRA 模型的时候，提示词里一定要写入触发词。这一次的触发词是 "wool felt doll"；

在写完提示词之后，我们选择一张要加载的原始图片；

再设置一下降噪参数。降噪（denoise）的数值会决定生成结果和原图的差异程度。

比如我这次设置的是 0.68。

把结果和原图放在一起对比，大家可以很直观地看到，生成图既保持了原图人物的姿势，但风格上已经完全变成了毛线针织的样子

在使用 LoRA 的时候，一定要多尝试不同的参数，尤其是降噪，反复调试才能得到理想的效果。

这里要再次强调，LoRA 节点的提示词里一定要写入触发词，这是保证模型生效的关键。

3，ComfyUI 图生图使用 LoRA, 结合 ControlNet 精准控图的使用

在 ComfyUI 的图生图工作流中，结合 LoRA 模型与 ControlNet 实现精准控图。内容从整体工作流结构入手，逐步搭建并连接节点，说明关键参数的设置方法。随后，通过线稿与深度两种 ControlNet 模式进行效果演示，直观展示不同控制方式的生成差异。

ComfyUI 图生图工作流中 LoRA 模型与 ControlNet 精准控图的应用与搭建方法

3.1，搭建方法

图生图工作流把原本的采样器（高级）（Sampler Custom Advanced），而是改成了 K 采样器（KSampler）；

增加了几个新的节点：ControlNet 应用（Apply ControlNet）节点、类型设置（Set Union Control NetType）节点、ControlNet 加载器（Load Control NetModel）节点，以及一个反向提示词（CLIP TextEncode（Prompt））节点；

用到 Aux 集成预处理器（AlO Aux Preprocessor）节点，把它们组合在一起；