ComfyUI ControlNet 环境搭建备忘录

0. ComfyUI ControlNet Aux 插件简介

• 作用 ：comfyui_controlnet_aux 是 ComfyUI 的扩展插件，用来管理和调用各种Controlnet 预处理器模型（Annotators）。

• 位置 ：安装后会在 ComfyUI/custom_nodes/comfyui_controlnet_aux/ 下生成目录，其中的 ckpts/ 文件夹专门用来存放预处理器模型。

ckpts= checkpoints

• 预处理器模型：包括 Canny、OpenPose、Depth Anything、MiDaS、Zoe、Lineart、HED 等，它们负责把输入图像转化为条件图。这些预处理器模型是通用的，不依赖具体的生成模型（SD1.5、SDXL、Flux 都能用）。真正和生成模型绑定的是 ControlNet 主模型。

1.预处理器模型 vs ControlNet 主模型

在 ComfyUI 的 ControlNet 工作流里，常常会遇到两个概念：预处理器模型 和 ControlNet 主模型。它们的区别如下：

---

预处理器模型（Annotators）

• 作用：把输入图像（照片、草图等）转换成条件图（如边缘图、深度图、姿势关键点图）。

• 常见类型：Canny、OpenPose、Depth Anything、MiDaS、Zoe、Lineart、HED 等。

• 特点 ：

  • 独立的计算机视觉模型，不依赖具体的生成模型。
  • 通用性强：无论你用的是 SD1.5、SDXL，还是 Flux，都可以用同一套预处理器。

• 存放路径 ：

  ComfyUI/custom_nodes/comfyui_controlnet_aux/ckpts/

---

ControlNet 主模型

• 作用：把预处理器生成的条件图，转化为能约束扩散模型的条件（Condition）输入。

• 常见类型 ：control_v11p_sd15_canny.safetensors、controlnet-openpose-sdxl-1.0.safetensors 等。

• 特点 ：

  • 与具体的扩散模型版本绑定（SD1.5、SDXL、Flux 各有专用版本）。
  • 不同主模型对应不同的条件图类型（canny、depth、openpose、scribble 等）。

• 存放路径 ：

  ComfyUI/models/controlnet/

---

总结对比

项目	预处理器模型	ControlNet 主模型
功能	生成条件图	将条件图应用到扩散模型
通用性	通用，跨 SD/SDXL/Flux	专属，必须匹配版本
例子	Depth Anything、MiDaS、Zoe	control_v11p_sd15_canny、controlnet-depth-sdxl-1.0
路径	custom_nodes/comfyui_controlnet_aux/ckpts/	models/controlnet/

---

👉 简单来说：预处理器模型负责"分析图像"，ControlNet 主模型负责"约束生成"。

预处理器是通用的，而主模型必须和你用的扩散模型版本匹配。

2. Depth、Canny 和 OpenPose 的区别与用途

在 ControlNet 工作流里，这三类主模型是最常见、最实用的，它们分别依赖不同的 预处理器 来生成条件图，再通过 ControlNet 主模型约束扩散生成。

Depth（深度图）

• 输入条件：由 MiDaS、Zoe、Depth Anything 等预处理器生成的深度图。
• 作用：保留图像的空间层次和前后关系，让生成结果符合透视和场景结构。
• 适用场景：建筑、风景、人物场景，尤其需要保持空间感时。

Canny（边缘检测）

• 输入条件：由 Canny 算法生成的边缘图。
• 作用：保留图像的轮廓和结构，让生成结果贴合原始图的形状。
• 适用场景：草图转精细图、照片结构保持、快速约束生成。

OpenPose（姿势关键点）

• 输入条件：由 OpenPose 预处理器生成的人体关键点图（骨架）。
• 作用：控制人物的姿势和动作，让生成结果符合指定的骨架结构。
• 适用场景：人物插画、舞蹈动作、角色设计，尤其需要精确控制姿势时。

---

✅ 总结：

• Depth → 控制空间层次。
• Canny → 控制轮廓结构。
• OpenPose → 控制人物姿势。

这三类模型覆盖了最常见的生成约束需求，是 ControlNet 工作流里最常用的基础工具。

👉 总结：预处理器模型是 通用的，不绑定 SD/Flux，只负责生成条件图。

3. ControlNet 主模型的区别

不同的 ControlNet 主模型对应不同的输入条件图：

模型	输入条件	用途
scribble	草图线条	涂鸦转精细图
lineart / lineart_anime	线稿	保持线条结构
seg	语义分割图	按区域生成内容
normalbae	法线贴图	控制光照和几何结构
depth	深度图	保持空间层次
mlsd	直线检测图	建筑透视控制
canny	边缘检测图	保持轮廓结构
openpose	姿势关键点	控制人物姿势

👉 总结：ControlNet 主模型必须和 SD 版本匹配（SD1.5 用 sd15 模型，SDXL 用 sdxl 模型，Flux 未来需要专用版本）。

4.ControlNet主模型加载器区别 Load vs DiffLoad ControlNet

• Load ControlNet Model：加载单个 ControlNet 模型。

• DiffLoad ControlNet Model：支持多模型或动态切换，适合复杂工作流。

5. 下载与命名

Hugging Face 上的Controlnet主模型的文件通常叫 diffusion_pytorch_model.safetensors。

比如https://huggingface.co/lllyasviel/control_v11f1p_sd15_depth/tree/main

圈出的两个分别是Stable Diffusion对应Controlnet主模型的半精度版本和全精度版本。下载后放到ComfyUI目录的 models/controlnet/。

模型不改名也能用，但建议改成对应仓库名（如 control_v11p_sd15_depth.safetensors），方便在UI显示辨认和管理。

SDXL 的 ControlNet 模型（如 controlnet-openpose-sdxl-1.0）同样只需下载 .safetensors 文件，放到 models/controlnet/。

下载地址：

https://huggingface.co/diffusers/controlnet-depth-sdxl-1.0/tree/main

https://huggingface.co/xinsir/controlnet-openpose-sdxl-1.0/tree/main