文章目录
-
-
- 前言
- 开始
- Lineart线稿-能够进行线条控制的有关Controlnet模型
-
- [1. Controlnet进行线稿上色](#1. Controlnet进行线稿上色)
- [2. 线条控制: Softedge-软边缘](#2. 线条控制: Softedge-软边缘)
- Openpose
- 俩个ControlNet
- Depth:深度控制的ControlNet
-
前言
Controlnet也是整个ComfyUI中不得不品的一环，功能强大，可以实现线条控制,姿势控制,深度控制，面部参考局部重绘等功能。这些功能目的都是为了更好的去帮助我们进行图片的控制，从而让我们的AI绘画有更多的商业落地的可能性
开始
空白处双击界面->搜索
controlnet ADV选择ControlNet应用(旧版高级)这个就是ControlNet核心的节点,之后的
Openpose are,Lineart,Softedge等Controlnet有关模型都是搭载在这个节点上的
Lineart线稿-能够进行线条控制的有关Controlnet模型
1. Controlnet进行线稿上色
上图的正向条件和反向条件就连接到CLIP文本上
Controlnet拉出来添加一个
ControlNetLoader
> 里面选择
Lineart看到选项SD1.5 Lineart也可以选其他的Lineart
图像块我们拖出来按shift键 松开鼠标就可以搜索Lineart，选择Lineart Standard这个节点的作用: 为了预处理我们的上传图像。把我们上传的图像先加工一下，然后再传入到我们的Controlnet核心节点中
我这边找到的
如果是黑底白边****我们可以忽略这个艺术线预处理器直接连ControlNet核心节点即可
这个预览图像是为了让我们看到预处理后的图像长什么样
然后核心节点的另一边正负条件连接K采样器这端
整个工作流
现在还需要修改提示词以及K采样器的相关参数和大模型
- 大模型：我们用的是动漫上色所以我们最好选择一个动漫线稿图，这里使用的是LibLib上的大模型
- 这里我们就步连接单独的VAE了，直接使用大模型的VAE,将ControlNet应用的VAE也与大模型的VAE相连
- 正面提示词: 杰作，高清晰度，最高质量，一个女孩，白色头发，一双淡蓝色眼睛，背景是大海，动漫风格-(
Masterpiece, high definition, highest quality, a girl, white hair, light blue eyes, the background is the sea, anime style) 注意:虽然现在最新版comfyui支持中午提示词，但是也会有偏差，建议使用英文 - 负向提示词: embedding:EasyNegativeV2,
- K采样器：步数25 ;CFG:6.5 ,采样器dpmpp_2m ,调度器karras
线稿
出图
- 是与我们的原图尺寸不对
- 与我们正向提示词不怎么符合(棕色头发变成白色了)
- 尺寸不对是因为我们的空Latent，是控制图像的尺寸。我们怎么知道图片的尺寸?
我们需要新的节点新的流程实现自动化
新版空Latent 直接拉就行
生成图像
通过高清放大图片可以得到的图像(1.5倍+4倍超过CSDN上传大小了，所以这只是HD SD Upsacle的4倍放大结果)
2. 线条控制: Softedge-软边缘
不同ControlNet的流程其实非常的近似
只需把
LineArtStandard艺术线预处理器替换成softedge的预处理器以及ControlNet模型替换成softedge模型即可
SD1.5: 用的是512x512的训练集，它的生图尺寸是由限度的：比方让它生成一个1024x1024的图片会非常的古怪
SDXL:用的是1024x1024的训练集，所以它可以直出1024x1024的图片，直出的图片细节也越高。也就是SDXL的基础要比SD1.5要牢
softedge的预处理器，我们一般用HED模糊线预处理器
随后输出的图像节点可以搞个预览节点
预览图像:
生成图像
你会发现声预处理图像跟
Lineart区别非常大,Lineart非常细致；而softedge它较为模糊，给予了AI更多的自由发挥的空间通过SD的放大
我们可以看到它生成出来的最终图像效果还是不错的，虽然没有1:1还原我们的原始线稿图，但是呈现出的视觉效果也有别一样的风味。
一般softedge匹配的场景是 进行风格转绘或者基于原图的线条特征来对它进行大体不变细节改变的目标需求
不同的ControlNet之间是可以同时在工作流中运用的，除以上俩个线条处理还有其他的线条处理，比方Canny(不太推荐使用)，大部分用到Canny的场景可以用Lineart即可；而需要更多的AI艺术型，我们就用Softedge
Openpose
虽然
ControlNet旧版(高级)但其实这个节点基本上算是最好用的Controlnet有关节点了。更换vae可以使用一下
kl-f8-anime2
按豆包帮我绘图
在
ControlNet加载器里搜Openpose图像这块拖出按住
shift键松开搜索dwpose这个就是
openpose的预处理节点正向提示词杰作,高清晰度，最高质量，一个女孩一本正经的注视前方,穿着粉色披风和蓝偏白色衣服，头发粉色更偏向于紫色，背景是超市，动漫风格-(
Masterpiece, high-definition, highest quality, a girl looking straight ahead, wearing a pink cape and blue-tipped white clothes, pink hair, more purple, supermarket background, anime style)
图片
OpenPose处理后的图片
生成的图片
放大的图片
这里放大的图片完善了原图手指的违和感.
不管怎么说人物的姿势以及她的眼睛朝向，都是通过我们的骨骼绑定来完成的控图流程，整张脸的面部表情眼距嘴巴动作都规划好了 而使用OpenPose时都会搭配其他一同使用
俩个ControlNet
俩个ControlNet一同使用从而达到更强大的控图效果
这softedge的预览图是其他的也行，但是我们要使用其他的图片需要与openpose的图片姿势需一致，不然会图片会造成错乱
openpose可以解决坏手坏脚的问题，当然你生成的图片还是坏手怎么么办? 就像上面我解决的办法一样使用图片高清放大，但与上面不一样的是，加入在姿态控制器里即可****可能LibLib的双ControlNet也需要会员
Depth:深度控制的ControlNet
作用: 保持生成图片与参考图片的空间关系一致
预览后的zoe图像是经过ZOE深度处理后的图像 越亮的地方则代表着咱们镜头越近，越黑的地方就代表着离镜头越远,Depth就是用这来识别咱们和原图的空间关系
无论做什么案例，你的目的是为了参考某张图片那么基本上都可以带上Openpose和Depth这俩个ControlNet,以确保更多维度的去约束我们生成的图像
