【AI学习-comfyUI学习-第二十节-controlnet线稿+softedge线稿处理器工作流艺术线处理器工作流-各个部分学习】

【AI学习-comfyUI学习-第二十节-controlnet线稿+softedge线稿处理器工作流艺术线处理器工作流-各个部分学习】

1,前言

最近,学习comfyUI,这也是AI的一部分,想将相关学习到的东西尽可能记录下来。

2,说明

预处理器 本质 适合场景
Canny 像素级梯度边缘 写实、检测、工程
SoftEdge 平滑轮廓 写实 + 稳定
LineArt 学习到的"艺术线条" 插画、二次元、线稿
LineArt Anime 动漫专用线条 二次元人物

1 -第二十节-controlnet线稿处理器工作流

这是一个:用 ControlNet 的 Canny 边缘来"锁住原图结构",再用文本提示词去"重新画风格"的图像生成流程。

bash 复制代码
输入原图
  ↓
Canny 边缘提取(结构信息)
  ↓
ControlNet 约束结构
  ↓
文本提示词(决定画什么风格)
  ↓
KSampler 采样生成
  ↓
VAE 解码
  ↓
输出最终图像

本流程通过 Canny 边缘提取获取输入图像的结构轮廓信息,并利用 ControlNet 模块在扩散生成过程中对图像结构进行强约束,从而在保持人物姿态与构图一致性的前提下,通过文本条件控制生成图像的风格与语义内容,实现结构稳定、风格可控的图像重绘。

2 -第二十节2-softedge线稿处理器工作流

LineArt 艺术线预处理器,用于从输入图像中提取"干净、连续、偏艺术化的轮廓线",生成适合 ControlNet 使用的线稿约束图。

bash 复制代码
原始图像
   ↓
LineArt 艺术线预处理器
   ↓
线稿图(黑白/灰度)
   ↓
ControlNet(lineart / lineart_anime)
   ↓
约束扩散模型生成
  • 二次元人物重绘

  • 插画风格统一

  • "姿态不能跑,但风格要换"

  • ControlNet + lineart 模型

3,流程

1 -第二十节-controlnet线稿处理器工作流

(1)调用模块

(2)输出 提示词

bash 复制代码
anime style young man, short spiky dark blue hair,
confident smile, sharp eyes,
arms crossed, upper body portrait,
wearing a casual zip-up jacket with blue and pink color blocks,
soft fabric texture, ribbed collar,
clean anime lineart, clear outlines,
flat yet detailed shading, manga illustration style,
warm indoor lighting,
wooden interior background,
high quality, sharp focus, detailed face
bash 复制代码
low quality, blurry, bad anatomy,
extra arms, extra fingers,
deformed face, asymmetrical eyes,
realistic photo, 3d render, western cartoon,
oversaturated colors, messy background

(3)模型使用

(4)生成图片

(1)图片

2 -第二十节2-softedge线稿处理器工作流

(1)调用模块

(2)输出 提示词

bash 复制代码
A group of realistic plush cat toys standing upright in a clear acrylic display box, 
cute chubby cat dolls with raised paws, different fur patterns including calico, black and white, tabby and orange,
soft fluffy texture, highly detailed fur, realistic stitching,
displayed on a white retail shelf in a Japanese lifestyle store,
neatly arranged merchandise in the background,
soft indoor lighting, natural colors,
photorealistic, ultra high detail, sharp focus, product photography
bash 复制代码
low resolution, blurry, cartoon, anime style, distorted anatomy,
extra limbs, deformed paws, unrealistic proportions,
oversaturated colors, harsh shadows, cluttered background

(3)模型加载

(3)模型说明


(4)生成图片

(1)原图片

4,模块介绍

很多模型开始不知道,只能一步步学习。

① Canny 边缘检测(ControlNet 辅助)

模块名:

Canny边缘检测预处理器

这里的参数:

  • 低阈值:53
  • 高阈值:200
  • 分辨率:1024

模块在干什么?

  • 把图片变成 黑白线稿

  • 只保留:

    • 人物轮廓
    • 五官边缘
    • 衣服线条

输入:

  • 原图 Image

输出:

  • 边缘图(给 ControlNet 用)

👉 大白话:

把"这人长啥样、站啥姿势"抽象成线条,不管颜色、不管风格


③ ControlNet 模型加载

模块名:

control_v11p_sd15_canny.pth

它的作用:

  • 专门吃 Canny 边缘
  • 在生成过程中 强制模型照着这个轮廓画

输入:

  • Canny 边缘图
  • 主模型 latent 生成过程

输出:

  • 带结构约束的 latent 引导

👉 一句话:

这是"结构警察",防止 AI 乱画


④ ControlNet 应用(关键节点)

模块名:

ControlNet应用(旧版高级)

重要参数:

  • 强度:1.0
  • 起始时间:0.0
  • 结束时间:1.0

这一步在干嘛?

  • 把:

    • 文本条件(prompt)
    • 负面条件(negative)
    • ControlNet(边缘约束)
    • VAE
  • 全部合并到采样器可用的条件里

输入:

  • 正向 prompt
  • 负向 prompt
  • ControlNet
  • VAE

输出:

  • 条件化信息(conditioning)

👉 工程角度:

这是一个"总调度模块",不是画画的,是"指挥画画的"


5,细节部分

1,提示词不好,画面可能崩掉

如上图,其实只有"玩偶动物"的时候 其实整个画面可能很奇怪

2,细节部分不足,现实复杂

现实还是很复杂的,在细节部分稍显不足

6,使用的工作流

(1)第二十节-controlnet线稿处理器工作流.json
https://download.csdn.net/download/qq_22146161/92489022

(2)第二十节2-softedge线稿处理器工作流.json
https://download.csdn.net/download/qq_22146161/92489026

7,总结

这也算各一个开始吧,我也在学习摸索中。

相关推荐
正经人_x2 小时前
学习日记28:Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks
人工智能·深度学习·cnn
陈橘又青2 小时前
vLLM-Ascend推理部署与性能调优深度实战指南:架构解析、环境搭建与核心配置
人工智能·后端·ai·架构·restful·数据·vllm
世优科技虚拟人2 小时前
AI数字人企业产品图谱解析:2D/3D数字人AI交互开发技术指南
人工智能·大模型·人机交互·数字人·智能交互
LiFileHub2 小时前
2025 AI驱动产业转型全景手册:从技术破局到价值重生(附8大转型案例)
人工智能
小林有点嵌2 小时前
UML之状态图学习
网络·学习·uml
python机器学习ML2 小时前
论文复现-以动物图像分类为例进行多模型性能对比分析
人工智能·python·神经网络·机器学习·计算机视觉·scikit-learn·sklearn
YANQ6622 小时前
14.1 人脸的三维重构(PRNet算法)
人工智能·重构
小林有点嵌2 小时前
UML之类图学习
学习·uml
风途知识百科2 小时前
并网/分布式光伏气象站
人工智能·分布式