在 Stable Diffusion 中使用 DeepFashion (ADetailer) 处理服装太给力了!

在上一篇文章中,我为大家详细介绍了Stable Diffusion中一个非常有用的插件,名为ADetailer。

👉 Stable Diffusion 必装插件之 ADetailer

这个插件主要用于修复面部问题并为面部和手增加细节。目前,ADetailer包含了14个不同的模型,每个模型都有其独特的用途。我已经对其中大部分模型进行了对比分析。但有一个特殊的模型------DeepFashion,我之前并未介绍,因为它与其他模型有所不同。在这篇文章中,我将详细介绍DeepFashion。

如果你喜欢看视频教程,那么我非常欢迎你观看本文所对应的视频(B站同名帐号):

www.bilibili.com/video/BV1ne...

DeepFashion的核心功能

DeepFashion模型的核心功能是处理服装。这个模型的数据集包括来自13个流行服装类别的80多万件服装。使用DeepFashion模型,ADetailer能够检测图像中的服装,并进行分割,以便进行单独处理。

我们都知道,Stable Diffusion的自然语言理解能力较弱,无法与DALL-E和Midjourney相提并论。例如,使用SDXL模型生成的这张图片,其提示词是"1位女孩,面带微笑,晨光打在脸上,黑色丝质吊带衫,领口处有精致的蕾丝边,酒红色格子高腰半身裙,全身拍摄,凉鞋,古色古香的鹅卵石街道,景深,虚化"。但是,女孩裙子上的格子图案并没有被体现出来。提示词越长,遗漏的细节就越多。

而使用DeepFashion后,可以看到明显的改进,如裙子上的格子图案就被准确体现出来了。

再比如,解决提示词污染的问题。例如,一张图片的背景是柠檬黄色,但Stable Diffusion可能会错误地将柠檬图案应用到女孩的裙子上,如下图所示:

这时,使用DeepFashion可以有效解决这一问题。它会将裙子单独分离出来,并使用专门的提示词进行描述。这样,如果提示词中不包含"柠檬",裙子上就不会出现柠檬图案。

安装DeepFashion模型

以下是DeepFashion模型的详细安装过程:

1️⃣Adetailer插件安装

首先,确保已经安装了Adetailer插件。如果尚未安装,可以参考上一篇文章中的步骤进行安装。安装Adetailer是使用DeepFashion的前提条件。

2️⃣下载DeepFashion模型

安装Adetailer插件后,DeepFashion模型不会自动出现在模型列表中。要使用DeepFashion,您需要手动下载它。模型的下载链接是:

huggingface.co/Bingsu/adet...

3️⃣进入下载页面

在浏览器中输入下载地址后,你将被引导至HuggingFace下载页面。在这里,所有可用的模型都会被列出,你可以找到位于列表首位的DeepFashion模型。旁边有一个下载按钮,点击该按钮开始下载。

4️⃣移动模型文件

下载完成后,将下载的模型文件移动到Stable Diffusion的 "webui/models/adetailer" 文件夹内。这一步骤是必要的,以确保WebUI能够正确识别并加载模型。

5️⃣重启WebUI

将DeepFashion模型文件放置在正确的文件夹后,需要重启WebUI。重启后,DeepFashion模型应该出现在Adetailer的模型列表中,这意味着它已经准备好使用了。

安装完成以后,让我们通过两个案例,身临其境,体验DeepFashion的用法。

案例一:使用DeepFashion解决衣物图案问题

1️⃣ 生成初始图片

  • 打开WebUI界面。
  • 选择模型:"MajicmixRealistic"(在下一个案例中将使用SDXL模型)。
  • 提示词内容:"在现代艺术画廊里穿着亮片裙子的女孩儿"。
  • 根据需要调整其他参数。
  • 点击"生成"查看效果。

为了更好地说明问题,我生成了几张不同的图片。从中选取了三张展示出来。可以看到,衣服上的亮片或金色部分错误地出现在了背景中。

2️⃣ 使用DeepFashion解决问题

  • 首先生成一张衣服上没有亮片图案的底图。
  • 指定裙子的颜色为黄色,以避免生成黑色裙子导致亮片不明显。
  • 将"gold sequin pattern"从提示词中剪切出来,稍后在Adetailer中使用。
  • 先不勾选Adetailer插件。
  • 如遇提示词污染问题,将黄色添加到Cutoff插件中,确保背景不会出现金色亮片。
  • 生成底图。

3️⃣ 添加亮片效果

  • 固定随机种子,勾选Adetailer插件。
  • 在Adetailer的模型列表里选择DeepFashion。
  • 使用刚才剪切的"gold sequin pattern"作为提示词。
  • 展开"Inpainting"设置,调整"Inpaint denoising strength"(重绘去噪强度)至0.6。
  • 生成图片,并观察过程:

    • Stable Diffusion首先根据随机种子生成底图。
    • DeepFashion接管,识别裙子,并对其进行标注和处理。

4️⃣ 调整去噪强度以改善效果

  • 如果亮片效果不足,可将去噪强度调至0.7再生成,观察效果。
  • 如需更多亮片,继续将参数调至0.8。

案例总结

DeepFashion能够有效地将服装从图片中分离出来进行单独处理,解决了提示词污染问题。这种技术特别适用于那些Stable Diffusion可能无法准确理解和渲染的复杂场景。

例如,使用albedobaseXL模型生成的图片中,绿色的裙子和柠檬黄的背景被准确分离,没有出现混淆。

而使用dreamshaperXL-Turbo模型生成的图片就出现了问题,背景中的柠檬黄色错误地出现在了裙子上。

在这种情况下,DeepFashion就显现出了其优越性,能够准确地处理和优化图片中的服装元素。

通过这个案例,我们可以看到,DeepFashion不仅提高了Stable Diffusion生成图像的质量,也为我们在图像生成过程中提供了更多的控制和创造力。

案例二:优化SDXL模型中的颜色处理

在Stable Diffusion的应用中,尤其是使用SDXL模型时,我们经常遇到提示词污染问题,特别是在处理颜色时。让我们通过一个实际案例,探索如何使用DeepFashion来解决这一挑战。

1️⃣ 设置与生成初步图片

  • 模型选择:更换为SDXL模型。
  • 提示词设定: "年轻模特,时尚摄影,无袖祖母绿 A 字连衣裙,花朵蕾丝装饰,柠檬黄背景,漂浮的白色气球"。
  • 分辨率:设为832x1216。
  • 生成结果:希望得到的是白色气球,但图片中出现了黄色和绿色的气球。

2️⃣ 重复生成以寻求改善

  • 第一次重新生成:去除了绿色气球,但仍有黄色气球。
  • 第二次重新生成:问题更加夸张,裙子上出现了花朵。

通过这个案例,我们看到了SDXL模型在处理特定颜色和元素时的挑战。虽然重复生成图片可能会带来一些改进,但结果仍然不稳定,且不符合我们的预期。为了解决这一问题,DeepFashion插件就显得尤为重要。

在接下来的内容中,我将展示如何使用DeepFashion来精确控制图像中的颜色元素,确保生成的图像更加符合我们的预期。

3️⃣ 尝试使用"BREAK"关键词

  • 简化提示词:去掉"蕾丝装饰"。
  • 在"裙子"和"柠檬黄背景"之后加入"BREAK"关键词。
  • 生成结果:出现了黑色气球,背景颜色错误。

2️⃣ 多次尝试改进

  • 再次生成:裙子和气球颜色正确,但背景色仍然不准确。
  • 最后一次尝试:颜色终于正确,但方法不稳定,依赖运气。

我们用抽卡的方式实现了想要的效果。但是可以看到,这种方法不稳定,得靠运气。接下来我们用DeepFashion实现更可控的效果。

1️⃣ 准备阶段

  • 删除提示词中的"祖母绿",准备稍后通过DeepFashion进行调整。
  • 生成图片,确保背景和气球颜色正确。

2️⃣ 应用DeepFashion处理衣服

  • 固定随机种子。
  • 启用Adetailer插件,选择DeepFashion模型。
  • 添加描述:"祖母绿无袖 A 字裙,花朵蕾丝"。
  • 调整"Inpaint denoising strength"至0.7,然后生成。
  • 观察到裙子颜色主要仍是白色。

3️⃣ 增强效果

  • 提高"Inpaint denoising strength"至0.8,再生成。
  • 尝试使用更高的0.9值,裙子变为祖母绿色,但边缘仍有白色残留。

4️⃣ 微调蒙版处理

  • 调整"Mask Preprocessing"中的"Mask erosion/dilation"参数。
  • 将蒙版扩张设为12,生成图片,白边减少。
  • 进一步调整至16,几乎消除了所有白边。

结论与应用

DeepFashion作为Adetailer中的一个独特模型,可以独立处理服装,从而避免提示词污染问题,同时为服装增加细节。它不仅支持SD1.5模型,还支持SDXL模型。当你需要处理服装时,DeepFashion是一个值得考虑的选择。

OK,以上就是本期的内容。希望这篇文章对你有所帮助。如果你觉得有用,不妨给我点个赞。

对AI绘图感兴趣的,欢迎加我微信vito_chat入群交流。

欢迎访问我的免费学习AI网站:

myaiforce.com.cn/

原文地址:

myaiforce.com.cn/stable-diff...

相关推荐
树獭叔叔2 小时前
OpenClaw Workspace 文件完整指南:从文件到 AI 行为的完整链路
后端·aigc·openai
德育处主任3 小时前
『NAS』一句话生成网页,在NAS部署UPage
前端·javascript·aigc
刀法如飞4 小时前
AI时代,人人都是需求描述工程师
程序员·aigc·ai编程·需求文档
饼干哥哥15 小时前
这43个OpenClaw Skill,直接干翻跨境电商
aigc
饼干哥哥16 小时前
把n8n逼死后,Openclaw重构了跨境电商的内容创作流程
aigc
刀法如飞16 小时前
AI时代,程序员都应该是需求描述工程师
程序员·aigc·ai编程·需求文档
小兵张健16 小时前
白嫖党的至暗时期
人工智能·chatgpt·aigc
该用户已不存在20 小时前
除了OpenClaw还有谁?五款安全且高效的开源AI智能体
人工智能·aigc·ai编程
量子位20 小时前
Meta亚历山大王走人?小扎回应了
meta·aigc
DigitalOcean20 小时前
DigitalOcean 基于 NVIDIA GPU 如何为 Workato 降低 67% AI 推理成本
llm·aigc