【AI学习-comfyUI学习-三十三节-FLXUcontrolnet canny(UNion)+canny(xlabs)工作流-各个部分学习】

@TOC(AI学习-comfyUI学习-三十三节-FLXUcontrolnet canny(UNion)+canny(xlabs)工作流-各个部分学习)

1，前言

最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。

2，说明

1，第三十三节-FLUX controlnet canny(UNion)模型工作流

用输入图片 → 提取 Canny 结构边缘 → 通过 Union ControlNet 注入到 FLUX → 在保留原构图/轮廓的前提下，用文本提示词进行高质量再生成。

输入图像
 ↓
尺寸统一 / 预处理
 ↓
Canny 边缘检测（controlnet_aux）
 ↓
Union ControlNet（canny 分支）
 ↓
FLUX 主模型（文本条件）
 ↓
采样（KSampler）
 ↓
VAE 解码
 ↓
保存输出

作用：结构强约束的再创作 / 风格重绘 / 真实结构保持

2，第三十三节2-FLUX -canny(xlabs)工作流

用 Canny 边缘作为强结构约束，把原图的轮廓"锁死"，再让 FLUX 在这个骨架上进行高质量风格重绘。

这一套是 xLabs 的 FLUX-Canny 专用 ControlNet

属于 单 ControlNet、直连型

更"硬"、更好理解，也更稳定

原始图片
 ↓
尺寸统一（1024）
 ↓
Canny / LineArt 预处理
 ↓
xLabs FLUX-Canny ControlNet
 ↓
FLUX UNet + CLIP 文本条件
 ↓
KSampler 采样
 ↓
VAE 解码
 ↓
最终图像

标准、教科书级 FLUX-Canny 流程

3，流程

1-第三十三节-FLUX controlnet canny(UNion)模型工作流

（1）调用模块

（2）输出 提示词

输出得提示词，自动生成

![painterly, illustration, sketch, watercolor,
flat lighting, dull colors, gray tone,
paper texture, canvas texture,
low contrast, blurry, low detail
](https://i-blog.csdnimg.cn/direct/aa9a500a1aae4902b89f21fc31d622dc.png)

负面使用，正面不使用

（3）生成图片

（1）原图片

（2）生成图片

（4）模型选择

2-第三十三节2-FLUX -canny(xlabs)工作流

（1）调用模块

（2）输出 提示词

Chinese style high quality character render, cinematic fantasy artwork,
dynamic action pose, strong sense of motion,
sharp focus, high contrast lighting,
detailed fabric texture, realistic skin detail,
professional concept art quality,
clean lighting, no illustration texture,
dramatic lighting, clear depth separation



painterly, illustration, sketch, watercolor,
flat lighting, dull colors, gray tone,
paper texture, canvas texture,
low contrast, blurry, low detail

（3）生成图片

（1）原图片-参考图

（2）

（4）使用模型

4，模块部分说明

1 LineArt / Canny 预处理（controlnet_aux）

你用的是：

LineArt 或 Canny 类结构提取节点

作用：

• 把"照片 → 线结构"
• 这是 ControlNet 真正吃进去的"控制信号"

重要理解：

• ControlNet ≠ 看原图
• ControlNet = 只看这个边缘图

📌 Canny 越干净 → 生成越稳定

📌 噪点多 → 模型会"乱发挥"

---

2 Union ControlNet（核心中的核心）

你这条链路的灵魂在这里 👇

节点组合逻辑是：

• Set Shakker Labs Union ControlNet Type

  • 指定 type = canny

• FLUX ControlNet Union 模型

  • FLUX.1-dev-ControlNet-Union-Pro-2.0.safetensors

• ControlNet 应用节点

  • 把 canny 结构注入采样流程

为什么要用 Union？

传统 ControlNet	Union ControlNet
单一控制	多控制统一接口
绑定模型	解耦模型
扩展性差	为 FLUX 原生设计

3 LineArt / Canny 预处理（controlnet_aux）

你这里用的是：

LineArt 艺术线稿预处理器

输出的是：

• 黑底
• 白色结构线

4 FLUX 模型加载（UNet / CLIP / VAE）

你用的是 标准 FLUX 组合：

• UNet：flux1-dev.sft

• CLIP：

  • clip_l.safetensors
  • t5xxl_fp16.safetensors

• VAE：ae.sft

这是目前最稳定、最推荐的一套。

---

5 xLabs FLUX-Canny ControlNet（核心）

这是和 Union 版最大的区别点👇

你这里用的是：

flux-canny-controlnet-v3-xlabs-dev.safetensors

特点：

项目	xLabs Canny
控制方式	单 ControlNet
接线	直接
控制强度	非常硬
学习成本	低
稳定性	高

5，细节部分

1-图片识别能力

有时候调试很久，一直要不到感觉质量好的图，可能使用得图片就太难了

6，工作流链接

（1）第三十三节-FLUX controlnet canny(UNion)模型工作流
https://download.csdn.net/download/qq_22146161/92565404

（2）第三十三节2-FLUX -canny(xlabs)工作流
https://download.csdn.net/download/qq_22146161/92565405

7，总结

不断学习摸索中。