【AI学习-comfyUI学习-第二十节-controlnet线稿+softedge线稿处理器工作流艺术线处理器工作流-各个部分学习】
- 1,前言
- 2,说明
-
- [1 -第二十节-controlnet线稿处理器工作流](#1 -第二十节-controlnet线稿处理器工作流)
- [2 -第二十节2-softedge线稿处理器工作流](#2 -第二十节2-softedge线稿处理器工作流)
- 3,流程
- 4,模块介绍
-
- [① Canny 边缘检测(ControlNet 辅助)](#① Canny 边缘检测(ControlNet 辅助))
- [③ ControlNet 模型加载](#③ ControlNet 模型加载)
- [④ ControlNet 应用(关键节点)](#④ ControlNet 应用(关键节点))
- 5,细节部分
- 6,使用的工作流
- 7,总结
1,前言
最近,学习comfyUI,这也是AI的一部分,想将相关学习到的东西尽可能记录下来。
2,说明
| 预处理器 | 本质 | 适合场景 |
|---|---|---|
| Canny | 像素级梯度边缘 | 写实、检测、工程 |
| SoftEdge | 平滑轮廓 | 写实 + 稳定 |
| LineArt | 学习到的"艺术线条" | 插画、二次元、线稿 |
| LineArt Anime | 动漫专用线条 | 二次元人物 |
1 -第二十节-controlnet线稿处理器工作流
这是一个:用 ControlNet 的 Canny 边缘来"锁住原图结构",再用文本提示词去"重新画风格"的图像生成流程。
bash
输入原图
↓
Canny 边缘提取(结构信息)
↓
ControlNet 约束结构
↓
文本提示词(决定画什么风格)
↓
KSampler 采样生成
↓
VAE 解码
↓
输出最终图像
本流程通过 Canny 边缘提取获取输入图像的结构轮廓信息,并利用 ControlNet 模块在扩散生成过程中对图像结构进行强约束,从而在保持人物姿态与构图一致性的前提下,通过文本条件控制生成图像的风格与语义内容,实现结构稳定、风格可控的图像重绘。
2 -第二十节2-softedge线稿处理器工作流
LineArt 艺术线预处理器,用于从输入图像中提取"干净、连续、偏艺术化的轮廓线",生成适合 ControlNet 使用的线稿约束图。
bash
原始图像
↓
LineArt 艺术线预处理器
↓
线稿图(黑白/灰度)
↓
ControlNet(lineart / lineart_anime)
↓
约束扩散模型生成
-
二次元人物重绘
-
插画风格统一
-
"姿态不能跑,但风格要换"
-
ControlNet + lineart 模型
3,流程
1 -第二十节-controlnet线稿处理器工作流
(1)调用模块

(2)输出 提示词
bash
anime style young man, short spiky dark blue hair,
confident smile, sharp eyes,
arms crossed, upper body portrait,
wearing a casual zip-up jacket with blue and pink color blocks,
soft fabric texture, ribbed collar,
clean anime lineart, clear outlines,
flat yet detailed shading, manga illustration style,
warm indoor lighting,
wooden interior background,
high quality, sharp focus, detailed face
bash
low quality, blurry, bad anatomy,
extra arms, extra fingers,
deformed face, asymmetrical eyes,
realistic photo, 3d render, western cartoon,
oversaturated colors, messy background

(3)模型使用


(4)生成图片
(1)图片

2 -第二十节2-softedge线稿处理器工作流
(1)调用模块

(2)输出 提示词

bash
A group of realistic plush cat toys standing upright in a clear acrylic display box,
cute chubby cat dolls with raised paws, different fur patterns including calico, black and white, tabby and orange,
soft fluffy texture, highly detailed fur, realistic stitching,
displayed on a white retail shelf in a Japanese lifestyle store,
neatly arranged merchandise in the background,
soft indoor lighting, natural colors,
photorealistic, ultra high detail, sharp focus, product photography
bash
low resolution, blurry, cartoon, anime style, distorted anatomy,
extra limbs, deformed paws, unrealistic proportions,
oversaturated colors, harsh shadows, cluttered background
(3)模型加载

(3)模型说明


(4)生成图片
(1)原图片

4,模块介绍
很多模型开始不知道,只能一步步学习。
① Canny 边缘检测(ControlNet 辅助)
模块名:
Canny边缘检测预处理器
这里的参数:
- 低阈值:53
- 高阈值:200
- 分辨率:1024
模块在干什么?
-
把图片变成 黑白线稿
-
只保留:
- 人物轮廓
- 五官边缘
- 衣服线条
输入:
- 原图 Image
输出:
- 边缘图(给 ControlNet 用)
👉 大白话:
把"这人长啥样、站啥姿势"抽象成线条,不管颜色、不管风格
③ ControlNet 模型加载
模块名:
control_v11p_sd15_canny.pth
它的作用:
- 专门吃 Canny 边缘
- 在生成过程中 强制模型照着这个轮廓画
输入:
- Canny 边缘图
- 主模型 latent 生成过程
输出:
- 带结构约束的 latent 引导
👉 一句话:
这是"结构警察",防止 AI 乱画
④ ControlNet 应用(关键节点)
模块名:
ControlNet应用(旧版高级)
重要参数:
- 强度:1.0
- 起始时间:0.0
- 结束时间:1.0
这一步在干嘛?
-
把:
- 文本条件(prompt)
- 负面条件(negative)
- ControlNet(边缘约束)
- VAE
-
全部合并到采样器可用的条件里
输入:
- 正向 prompt
- 负向 prompt
- ControlNet
- VAE
输出:
- 条件化信息(conditioning)
👉 工程角度:
这是一个"总调度模块",不是画画的,是"指挥画画的"
5,细节部分
1,提示词不好,画面可能崩掉

如上图,其实只有"玩偶动物"的时候 其实整个画面可能很奇怪
2,细节部分不足,现实复杂
现实还是很复杂的,在细节部分稍显不足

6,使用的工作流
(1)第二十节-controlnet线稿处理器工作流.json
https://download.csdn.net/download/qq_22146161/92489022
(2)第二十节2-softedge线稿处理器工作流.json
https://download.csdn.net/download/qq_22146161/92489026
7,总结
这也算各一个开始吧,我也在学习摸索中。