◆comfyUI教程◆第3章5节 专业重绘节点--Brushnet局部重绘

Brushnet是一种即插即用的基于分解双分支扩散的图像修复模型,它支持将像素级被遮挡图像特征嵌入到任意预训练的扩散模型中,重建缺失或损坏图像部分可以确保连贯和增强的图像修复结果,从而获得更好的局部重绘融合效果。

Brushnet在重绘相关领域的使用频率十分高,它除了可以与lora、controlnet、ipadapter共同使用外,还可以实现局部重绘、扩图、局部对象删除、更换背景等多种功能。

项目地址:https://github.com/nullquant/ComfyUI-BrushNet?tab=readme-ov-file

1 插件安装

管理器中搜索brushnet,点击进行下载。

git安装地址 git clone https://github.com/nullquant/ComfyUI-BrushNet.git

2 模型安装

Brushnet用到的模型共有三类,分别为brushnet模型、powerpaint模型以及fp16 version模型。

2.1 Brushnet模型

brushnet模型与大模型1.5版本和XL版本相对应,1.5版本有2个,XL版本有3个(模型中标注有sdxl后缀)。模型分为radom和segmentation两类,他们的功能差距并不明显,主要是训练集与编码方式不同,radom模型在获取不同形状蒙版上通用性更好一些。

模型下载地址:ckpt - Google 云端硬盘

谷歌云盘下载并不方便,可以通过下面的网盘地址进行下载:

模型文件放置地址..\comfyui\models\inpaint(如找不到文件夹,新建即可),可以区分1.5版本和XL版本建立子文件夹单独放置。

2.2 powerpaint模型

powerpaint模型也是用于局部重绘。

模型地址:https://huggingface.co/JunhaoZhuang/PowerPaint-v2-1/tree/main/PowerPaint_Brushnet

模型文件放置地址也是..\comfyui\models\inpaint

2.3 文本编码模型

文本编码模型需要下载1.5版本文本编码器模型model.safetensors,也可以下载fp16版本模型。

2.3.1 1.5版本文本编码模型

模型地址https://huggingface.co/ashllay/stable-diffusion-v1-5-archive/tree/main/text_encoder

2.3.2 fp16版本模型

模型地址:https://huggingface.co/nmkd/stable-diffusion-1.5-fp16/tree/main/text_encoder

2.3.3 模型安装位置

将模型文件放置到..\comfyui\models\clip

3 核心节点

核心节点主要包括Brushnet、Brushnet加载器两个节点,新建方法都在如下路径:添加节点→局部重绘→XXX

缩放:BrushNet对重绘区域的影响程度。默认值1,数值越大则Brushnet模型对重绘区域影响越强,但是过高的数值可能会使图像出现过拟合问题,常规情况下保持默认值即可。

开始引导步数/结束引导步数:BrushNet在生成图像过程中生效的区间。

4 基础工作流

Brushnet的基础应用并不复杂,基础图生图工作流中,将Brushnet节点串联至clip文本编码器与K采样器之间即可,注意brushnet模型选择与大模型一致的版本。

4.1 通过手动绘制获取蒙版

4.2 通过语义分割获取蒙版

5示例工作流

Brushnet作者在模型安装时提供了多个示例工作流,内容涵盖brushnet与IPAdapter、lora、ControlNet等多种控制结合使用的案例。

示例工作流位置:..\ComfyUI\custom_nodes\comfyui-brushnet\example

5.1 Brushnet局部重绘裁剪处理

增加"局部重绘裁剪处理"节点,仅对遮罩区域进行处理,可以解决出图资源,出图时间更快。

"局部重绘裁剪处理"节点中的宽度和高度需要大于遮罩的大小,否则会报错。

5.2 Brushnet图像批处理

以文件夹路径的形式加载图像,以语义分割形式确定每张图像需要获取遮罩的对象范围,Brushnet会对每一张图的遮罩区域进行重绘,达到批处理效果。

5.3 Brushnet视频图像批处理

""加载视频(路径)"节点中以路径的形式加载视频并输出为图像,以语义分割形式确定每张图像需要获取遮罩的对象范围,Brushnet会对每一张图的遮罩区域进行重绘,达到批处理效果。

5.4 Brushnet局部混合重绘

重绘遮罩区域的同时,会对其他区域进行轻微重绘,通过混合局部重绘节点,使非重绘区域图像不产生变化。

5.5 Brushnet+SD放大

5.6 Brushnet+controlnet

controlnet与brushnet同时使用时,两个节点模块串联进基础图生图流程,且controlnet条件在brushnet之前。

5.7 Brushnet+IPAdapter

IPAdapter与brushnet同时使用时,两个节点模块串联进基础图生图流程,且IPAdapter条件在brushnet之前。

附件:comfyUI基础整合包,包含秋叶版绘世启动器及comfyui官方版共两个版本,适合Windows系统使用。网盘内压缩文件解压密码VX-huaqs123,为防止下载失败,可先转存再下载。软件均为整合包形式,无需安装,下载后打开文件夹,点击运行图标即可使用。

夸克网盘链接:https://pan.quark.cn/s/f445b7325b47

本节内容所涉及模型下载:https://pan.quark.cn/s/a8185bcadfb4

欢迎正在学习comfyui等ai技术的伙伴VX加 huaqs123 进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。 欢迎感兴趣的小伙伴,群共享资料会分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、工作流等资源......

致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值是我们学习的最终目标。

------画青山Ai学习专栏---------------------------------------------------------------------------------------------

零基础学Webui:

https://blog.csdn.net/vip_zgx888/category_13020854.html

Comfyui基础学习与实操:

https://blog.csdn.net/vip_zgx888/category_13006170.html

comfyui功能精进与探索:

https://blog.csdn.net/vip_zgx888/category_13005478.html

系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!


相关推荐
画青山12 天前
◆comfyUI教程◆第3章4节 轻量级提示词反推模型-Florence2
提示词反推·florence2·florence·comfyui教程·joy2
画青山4 个月前
通义万相wan2.2 Fun系列--Camera镜头控制与lnp首尾帧视频模型
comfyui教程·wan2.2funcamera·wan2.2 fun lnp·镜头控制·首尾帧控制
画青山4 个月前
comfyui适用Flux.1模型的controlnet方案整理--Xlabs-Ai系列/Union-alpha集成/Mistoai线稿
controlnet·comfyui教程·flux.1·xlabs-ai·union-alpha·mistocontrolnet