6 webUI中图生图重绘方式--涂鸦、涂鸦重绘、局部重绘、上传蒙版重绘

摘要:本文系统介绍了WebUI图生图中的四种重绘方式:涂鸦、涂鸦重绘、局部重绘和上传蒙版重绘。涂鸦功能允许用户通过简单草图结合提示词生成图像;涂鸦重绘则支持在现有图像上修改特定区域;局部重绘通过蒙版区域控制重绘范围;上传蒙版重绘可实现更精确的修改。文章详细解析了各功能的操作方法、参数设置(如重绘幅度、蒙版模式等)及其对生成效果的影响,并通过具体案例演示了不同重绘方式的应用场景,为图像编辑提供了多样化的技术方案。

本节内容主要探讨在图生图中,webui提供的几种重绘方式基础知识,实现如何对参考图的特定区域进行重绘修改。

1 涂鸦

涂鸦是指在一张底图上通过webui自带的画笔粗略地进行描绘,webui通过所描绘的图片结合提示词进行联想出图。

我们来尝试一下,首先在图生图板块选择涂鸦,上传一张白板底图,通过调整笔刷的大小和颜色,按照大概想要的内容在画板上粗略地画上几笔。

例如:我想画一个站在桃树下的女孩

首先上传一张白板,并用笔刷按照想象中的构图简单画一下轮廓(可以看到例图十分抽象,大家天马行空随意发挥);

选择一款大模型后,在提示词框中按照文生图模式填入目标图像的提示词,告诉webui你在涂鸦上画的是什么,让它读懂你的想法从而配合你出图:

1 girl,under the peach tree,breeze,long_skirt,

参数区域首先同步目标尺寸与底图尺寸一致,然后设置采样方法、调度类型、迭代步数等。

这里重点对比一下主要影响涂鸦与出图关联度的重绘幅度 ,通过一组重绘幅度对比测试图可以看出:重绘幅度值设置越低,出图与涂鸦关联度越大;重绘幅度越高,出图的关联度越低、自由发挥度越高;

注意:涂鸦的画笔颜色对联想出图会有影响,下面放一组带不同颜色的对比图,大家可以自行尝试用不同的颜色涂鸦后看出图效果。

2 涂鸦重绘

涂鸦重绘与涂鸦功能类似,不同之处涂鸦重绘是在既有的参考图像基础上,通过涂鸦的方式对已有图像的某个区域或整个图像进行涂鸦,给到webui该区域一个轮廓参考后,webui按照提示词对图像进行重绘。

下面我们通过涂鸦重绘的案例来展示该功能的具体功能。

2 . 1 功能 案例

首先利用文生图模式生成一张小狗的图片,然后通过涂鸦重绘的方式给小狗增加项圈,具体操作如下:

(1)文生图生成小狗照片

(提示词:1 cute puppy,simple_background,HD,realistic,reality,)

  1. 涂鸦重绘选项卡中上传文生图得到的图像.
  2. 采用蓝色画笔对要修改的区域进行涂抹,增加小狗项圈的示意,生成新的参考底图

(4)修改提示词,增加提示词"蓝色项圈"

重绘幅度 依然是影响目标图像与++涂鸦修改区域++关联度的关键指标,我们再次通过对比不同的重绘幅度对出图效果做出比较,可以看到重绘幅度越高则涂鸦区域自由发挥程度越高。

2 . 2 参数 功能

通过上面的操作,我们对涂鸦重绘的功能和操作方法有了初步认识,下面再来研究一下参数区的不同选项所代表的含义。

蒙版边缘模糊度:蒙版边缘的羽化程度,蒙版区域边缘与原图有明显拼接感时可以调整此参数让边缘过度的更加自然。

蒙版透明度:指我们涂鸦内容的透明度,如果设置成100则代表我们的涂鸦完全透明,重绘时则不起任何作用。(调整此参数,涂鸦展示区域的透明度在视觉上并不变化)

蒙版模式

a.重绘蒙版区域:重绘我们涂抹的区域,其他内容不变;

b.重绘非蒙版区域:除了我们涂抹的区域不变,其他区域都要重绘;

蒙版区域内容处理

a.填充:生图区域略微参考原来图片的像素,色调与底图有一定关系,重绘幅度需设置较大才能摆脱原图影响;

b.原版:更多参考原图像素,通过重绘幅度来调整与原图的相似度;

c.潜空间噪声:绘图区域内容全部恢复成噪点,即不参考原图,生成的图片与原图关联度低,相当于在受限的空白区域上绘画,重绘幅度需拉高,否则容易出现不合理内容。

d.空白潜空间:与潜空间噪声效果基本一致,与原图风格一致性上略好。

重绘区域

a.整张图片:我们对某块涂鸦区域进行重绘时,会按照整张出图尺寸分配像素,则重绘区域分配到的像素点就会比较少,可能会模糊或崩坏。优点则是重绘区域与整张图片的融合度更高,合理的图像概率更高;

b.仅蒙版区域:重绘时所有的像素点都会分配给蒙版区域,绘制内容更加清晰。缺点是与原图的融合度不高,容易出现扭曲或不合理,需多次抽卡;

仅蒙版区域下边缘预留像素

当重绘区域选择"仅蒙版区域"时,蒙版区域生成图片考虑蒙版以外内容的程度,设置为0时,则蒙版以外的所有像素点都不会影响重绘的效果。

3 局部重绘

虽然局部重绘也是通过涂抹给参考图增加一个蒙版区域,但是与涂鸦或涂鸦重绘不同的是,局部重绘的蒙版只圈定范围并不识别涂抹的蒙版颜色,仅通过提示词引导来重绘蒙版区域的内容。

局部重绘的参数界面与涂鸦重绘类似,下面通过几组应用来体验一下局部重绘的功能。

仍用上面的案例,先用文生图制作一个小狗照片,发送到图生图局部重绘界面。

(这个方式直接同步文生图的提示词,便于学习演示;实际应用时可直接在局部重绘界面上传图片,通过提示词反推插件反推出图片的提示词信息,该方法在后文中会有具体介绍。)

通过画笔采用涂抹的方式绘制需要修改区域的蒙版(可以看到画笔无颜色选项,仅能选择区域)

修改提示词,我们在提示词的最后增加"眼镜";

蒙版模式选择重绘蒙版内容,重绘区域选择整张图片,同步尺寸,这里我们同样做一组重绘幅度对参照图变化影响的测试。

可以看到在这组图中,重绘幅度达到0.6以上基本上就可以实现提示词重绘要求,重绘幅度越高则新生成图像与原图中的差距越大。

4 上传蒙版重绘

上传蒙版重绘与局部重绘的逻辑是相同的,不同之处在于可以上传一张预先处理的蒙版图来代替涂抹 限定区域 的方式,可以更加精确地控制蒙版的范围。这个功能对于电商行业使用率特别高,尤其是通过上传产品图达到更换场景、上传衣服图更换真人模特等。

预先处理的蒙版图可以通过PS等外部工具制作,也可通过Inpaint anything等SD扩展插件制作,插件方式我们后文会有具体介绍,这里先通过一张PS制作的蒙版图来了解蒙版重绘功能。

我们先用PS等软件为参考图制作一张蒙版图,蒙版图黑底白色,白色区域为蒙版范围。注意,蒙版图尺寸与参考图尺寸需保持一致。

(1)上传蒙版图

参数设置如下图:蒙版模式选重绘蒙版内容,重绘区域选择整张图片,同步尺寸,调整重绘幅度。

提示词区域对图像进行描述,引导SD对蒙版区域进行生成。我们想把模特的衣服换成毛衣,所以这里在提示词区域输入:sweater

最终生成效果如下:

本文主要介绍了图生图界面下的涂鸦、涂鸦重绘、局部重绘和上传蒙版重绘几个功能,可以看到最终的效果受到提示词和参数搭配的同步影响。后面我们还会一起尝试使用其它插件如controlnet等对图像生成进行更加精细化的控制。

总结:

欢迎正在学习comfyui等ai技术的伙伴V加huaqingshan进入学习小组。在这里大家共同学习comfyui的基础知识、最新模型与工作流、行业前沿信息等,也可以讨论comfyui商业落地的思路与方向。欢迎感兴趣的小伙伴,分享博主自用的comfyui整合包(已安装超全节点与必备模型)、基础学习资料、高级工作流等......

致敬每一位在路上的学习者,你我共勉!Ai技术发展迅速,学习comfyUI是紧跟时代的第一步,促进商业落地并创造价值才是学习的实际目标。

文本节内容附件:博主自用的webUI全能整合包(已安装多插件及模型,文件较大)以及秋叶官方发布的基础整合包(仅安装基础插件和模型,文件较小),大家按需下载即可使用。

(1)webUI秋叶官方基础整合包-打开即用(基础插件和模型,文件较小,26G左右):

百度网盘: https://pan.baidu.com/s/1MmHpsX2cFWLCeWTNu0LC6A?pwd=brvb

夸克网盘:https://pan.quark.cn/s/0f06b4357515

(2)webUI自用整合包-打开即用(多个插件和模型,文件较大,100G左右):

百度网盘:https://pan.baidu.com/s/1HGuV-LjOCvIwjxqsv_7ShA?pwd=ts66

夸克网盘:https://pan.quark.cn/s/a3f8156787c3

------画青山学习专栏---------------------------------------------------------------------------------------------

Webui基础学习与实操:https://blog.csdn.net/vip_zgx888/category_13020854.html

Comfyui基础学习与实操:https://blog.csdn.net/vip_zgx888/category_13006170.html

comfyui功能精进与探索:https://blog.csdn.net/vip_zgx888/category_13005478.html

系列专栏持续更新中,欢迎订阅关注,共同学习,共同进步!


相关推荐
国产化创客8 天前
OpenClaw Control UI安全上下文访问配置
ai·webui·openclaw
雪碧聊技术1 个月前
图生图与背后的运行逻辑
图生图·comfyui
长飞哥2 个月前
一个免费的AI设计平台
aigc·文生图·图生图·风格迁移·电商设计·3d文字
Harrytsz2 个月前
基于 AutoDL 平台搭建 vLLM Qwen 大模型推理服务
qwen·autodl·webui·vllm
土丁爱吃大米饭3 个月前
AIGC开发游戏素材之序列帧动画
lora·aigc·comfyui·序列帧动画·webui
大熊猫侯佩3 个月前
拯救发际线行动:用 Swift 和 Image Playground 驾驭 AI 绘图
人工智能·ai·文生图·swift·图生图·imageplayground·apple 智能
paopao_wu3 个月前
ComfyUI遇上Z-Image(3):文生图/图生图
人工智能·ai·文生图·图生图·comfyui·z-image·we
Yeliang Wu4 个月前
ComfyUI 全流程指南:安装、配置、插件与模型选型
stable diffusion·文生图·图生图·comfyui
专注VB编程开发20年4 个月前
Excel软件界面美化-WEBUI-webbrowser内核
css·excel·vba·webui
阿杜杜不是阿木木6 个月前
开始 ComfyUI 的 AI 绘图之旅-Stable Diffusion图生图之局部重绘(Inpaint)和扩图(Outpaint)(三)
人工智能·ai·ai作画·aigc·图生图