使用LoRA的最佳方式:ADetailer+LoRA换脸

在上一篇文章中(myaiforce.com.cn/real-life-l...),我分享了如何为好莱坞女明星斯嘉丽训练一个高度相似的LoRA模型。

我专门选用了斯嘉丽的大头照进行训练,以便AI能够集中精力学习她的脸部特征,从而生成的图片与本人高度相似。

然而,当尝试生成半身或全身照时,我们会遇到一些挑战。比如我用这个提示词,并且把LoRA添加进去,生成的图片和斯嘉丽本人并不像。

而且,因为我训练LoRA使用的是SD1.5的底模,所以我只能用基于SD1.5的模型来生图。

本篇文章旨在介绍如何利用ADetailer插件克服这些挑战,让你训练的LoRA模型可以自由使用任何底模,生成不同风格的照片。它实际上就是单独把人脸从图像中分离出来,然后用LoRA生成的大头照进行换脸。 看,这是我用来换脸的3张原始图片。

这是我用斯嘉丽的LoRA换脸之后的图片。

效果还不错吧。接下来让我来演示如何操作。

如果你喜欢看视频教程,那么我非常欢迎你观看本文所对应的视频(B站同名帐号):

www.bilibili.com/video/BV1et...

LoRA+ADetailer换脸步骤

让我们详细了解如何通过几个简单的步骤使用ADetailer进行换脸操作:

一、准备阶段

首先,确保你已安装ADetailer插件。如果你不熟悉如何操作,我之前的文章中有详细的安装和使用指南(myaiforce.com.cn/stable-diff...)。

二、上传图片并选择配置:

访问WebUI的图生图界面,这是开始我们换脸操作的地方。

  • 首先,上传你想要换脸的图片。这张图片将作为换脸操作的基础。
  • 接下来,随意选择一个底模。由于我们将在ADetailer插件中进行详细的配置,此处选哪个底模并不重要。
  • 在提示词区域,你可以留空。ADetailer插件将负责处理所有必要的换脸细节。

三、设置采样器与采样步数

  • 选择一个采样器。这里可以根据你的具体需要来选择,不同的采样器可能会对生成结果有细微的影响。
  • 设定采样步数。这个值决定了生成过程的细致程度,通常情况下,步数越多,生成的图片质量越高,但同时也意味着需要更长的处理时间。

四、调整图像尺寸与其他参数

  • 点击界面上的"三角尺"按钮,这允许你自动将图片的宽度和高度设置为原图的尺寸。
  • 对于"提示词引导系数"和"重绘强度",你可以随意设置。这是因为,在接下来的步骤中,我们将使用ADetailer插件直接跳过图生图的步骤,这两个参数将不会影响到最终的换脸效果。你也可以将"重绘强度"设置为0,以避免在ADetailer插件中进行额外的配置。

五、配置ADetailer插件

  • 向下滚动到ADetailer插件部分并展开。
  • 启用插件,并勾选跳过图生图步骤的选项,以提高效率。这样就不会对脸部区域以外的图像区域进行任何改动。没有了这个步骤,效率也会大大提高。
  • 选择一个ADetailer模型,如face_yolov8mface_yolov8n
  • 在提示词部分加入LoRA模型的名称,确保换脸的精确度。

六、精细调整与生成

  • 展开"Inpainting"选项卡,这里可以对局部重绘的蒙版模糊度进行设置。适当增加模糊度可以帮助避免换脸后脸部与原图产生明显的接缝。
  • 另一个重要的参数是降噪强度,它控制了对原图脸部区域改动的程度。设置一个中等值,然后根据生成图像的效果进行调整。注意,数值设置过高可能会导致脸崩。

七、使用不同的底模进行换脸

  • 勾选"使用另外的底模"选项。这允许你为ADetailer指定一个与原始LoRA模型训练时不同的底模,从而实现更多样化的换脸效果。
  • 根据你的LoRA模型是基于哪个版本的Stable Diffusion训练的,选择相应的底模。例如,如果你的LoRA是基于SD1.5训练的,那么就选择一个基于SD1.5的模型。

八、生成与调整换脸图片

一旦你完成了ADetailer插件的所有配置,点击"生成"后,换脸过程便正式开始。以下步骤将帮助你理解生成后的预览,以及如何根据预览结果对换脸区域进行微调,确保最终效果达到满意标准。

查看与调整换脸区域

1️⃣ 生成预览:

在点击"生成"按钮后,系统会根据你之前的设置开始处理图片。处理完成后,在预览窗口中,你将看到原图的人脸周围出现了一个方框,这个方框标识了换脸的具体区域。

2️⃣ 调整换脸区域大小:

如果你觉得自动生成的换脸区域大小不够精确或需要调整,可以轻松修改。只需展开"蒙版预处理选项",然后调整滑块来增大或缩小换脸区域。这一步骤允许你细致地控制换脸的范围,确保换脸效果的自然和谐。

优化换脸效果

在查看生成的换脸图片后,如果你发现效果未达到预期,可以通过调整ADetailer的降噪强度来进行优化。适当调整降噪强度可以帮助平滑脸部区域与原图的融合。

使用ADetailer插件进行文生图换脸

值得一提的是,ADetailer插件不仅可以在图生图中使用,也同样适用于文生图。这意味着你可以直接在文生图环境下生成一张图片,然后使用ADetailer进行直接换脸。操作方法与在图生图中大致相同,提供了一个灵活而强大的工具,让你的创作不受限于特定的环境或模式。

结论

通过本篇文章,你应该已经掌握了如何利用ADetailer插件和LoRA模型进行高质量的换脸操作。这不仅可以让你的LoRA模型跨越原有的限制,还能创造出各种惊人的效果。希望这篇教程对你有所帮助,感谢阅读!最后,给大家推荐我正在跑SD的云平台:myaiforce.com.cn/lanrui/

对AI绘图感兴趣的,欢迎加我微信vito_chat入群交流。

欢迎访问我的免费学习AI网站:

myaiforce.com.cn/

原文地址:

myaiforce.com.cn/best-way-to...

相关推荐
程序员X小鹿15 分钟前
全部免费!6款AI对口型神器,让照片开口说话唱歌,早晚用得上,建议收藏!(附保姆级教程)
aigc
真忒修斯之船30 分钟前
大模型分布式训练并行技术(三)流水线并行
面试·llm·aigc
学习前端的小z2 小时前
【AIGC】如何通过ChatGPT轻松制作个性化GPTs应用
人工智能·chatgpt·aigc
zzZ_CMing4 小时前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
杰说新技术7 小时前
Meta AI最新推出的长视频语言理解多模态模型LongVU分享
人工智能·aigc
热爱跑步的恒川13 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
火山引擎边缘云21 小时前
创新实践:基于边缘智能+扣子的智慧婴儿监控解决方案
物联网·aigc·边缘计算
算家云21 小时前
如何在算家云搭建Aatrox-Bert-VITS2(音频生成)
人工智能·深度学习·aigc·模型搭建·音频生成·算家云
AI绘画小331 天前
【comfyui教程】comfyui古风一键线稿上色,效果还挺惊艳!
人工智能·ai作画·stable diffusion·aigc·comfyui
AI绘画月月1 天前
【comfyui教程】ComfyUI有趣工作流推荐:快速换脸,创意随手掌握!
人工智能·ai作画·stable diffusion·aigc·comfyui