stable diffusion如何确保每张图的面部一致?

可以使用roop插件,确定好脸部图片后,使用roop固定,然后生成的所有图片都使用同一张脸。

这款插件的功能简单粗暴:一键换脸。

如图所示:

任意上传一张脸部清晰的图片,点击启用。

在其他提示词不变的情况下,Stable Diffusion会跑出一张按照提示词的要求的图片,但脸部换成了roop插件里上传的脸。

当然了,AI换脸的能力是有限的,不可能100%无瑕疵,还要结合比较合适的提示词以及模型,但是效果已经很让人震惊了。

看到这个插件的时候,我就去下载,没想到,从下载到调试bug到最终顺利用上,足足花了三天时间。

为了避免入坑,我把安装过程和注意事项给大家写清楚。

一、插件安装前的准备工作。

1、VisualStudio环境

这个插件是移植过来的,目前并不十分完善(所以为0.0.2版本),安装前需要相应的环境。在Windows系统下,安装VisualStudio。

下载地址:

感谢您下载 Visual Studio - Visual Studio​visualstudio.microsoft.com/zh-hans/thank-you-downloading-visual-studio/?sku=Community&channel=Release&version=VS2022&source=VSLandingPage&cid=2030&passive=false​编辑

安装时,需要选中Python开发和C++开发。

安装完VisualStudio,最好是重启一下电脑。

2、安装插件

https://github.com/s0md3v/sd-webui-roop

需要注意的是,安装roop插件必须科学上网,并且要配置为全局科学上网(这一步大概劝退90%的AI绘画爱好者)... ...

如图,只能说到这里了。

3、重启Stable Diffusion启动器

继续保持全局科学上网的情况下,重启Stable Diffusion启动器。

如果顺利的话(可能有一半的概率不那么顺利),重启Stable Diffusion后,roop插件就能安装成功,安装成功后,会在首页看到roop插件。

第一次运行成功后,可以退出科学上网工具。

大部分故障和科学上网不稳定有关,换个付费稳定的工具能解决90%的故障。

如果依然出现问题,请按照我的教程顺序检查。

比如,我安装完成后,能出现插件,但换脸不生效,出现了这样一个错误提示:

我逐一排查了错误提示里的每一个行代码,最终发现buffalo_l这个参数来自于insightface项目,在该项目里,buffalo_l是一组模型!有五个!

insightface项目提示模型安装路径是.insightface\models,我翻遍了Python所在的硬盘,也没找到这个目录,后来跟踪程序执行情况,发现定位居然是在C盘的用户目录里!

4、检查模型是否安装成功

roop程序不大,但下载了不少模型,并且分散在各个目录里,如果因为网速原因,有些无法正常下载的模型,系统不会出现提示,但画图的时候会失败,只能自行查找原因,下载模型并安装到相应位置。

模型下载地址:https://www.123pan.com/s/ueDeVv-Xp0I.html 提取码:lgyh

(1)基础模型

安装路径:models\roopinswapper_128.onnx

(2)ifnude模型

安装路径:Windows用户所在目录\.ifnude\

举例,我的Windows账号名是"路过银河",安装路径就是:

C:\Users\路过银河\.ifnude\detector.onnx

C:\Users\路过银河\.ifnude\classes

(3)insightface模型--人脸侦测模型

roop使用了insightface项目的人脸侦测模型,坑爹的是,这几个模型下载地址在谷歌网盘,有300多M,网络不稳定就无法正常下载,下载不成功无任何提示。

我是查了两天才发现这个问题。我从insightface项目找到了对应的模型,下载并安装好,终于解决了。

安装路径:Windows用户所在目录\.insightface\models

C:\Users\路过银河\.insightface\models\buffalo_l

buffalo_l是个压缩包,下载后需解压缩,共五个模型文件,然后安装到.insightface\models\ 下。

如果你的roop安装后不能正常工作,压根不换脸,到上述几个目录排查,是否安装好了模型文件,如果有漏网之鱼,可以手工下载并拷贝过去,然后重启Stable Diffusion启动器,就可以正常使用了!

让我们试一下。

我从网上随便找了一张图片,图侵删。

只需要选中"启用"和"模型"(默认)。

文生图的提示词框,输入提示词:

复制代码
1girl, (flowers=1.5), Issuing, plant,sunlight, outdoors, white dress, long hair,((Cinematic Lighting)), hair between eyes,.shallow depth of field, romantic setting, dreamy pastel palette, whimsical details, captured on film,(RAW photo, best quality),(realistic, photo-realistic:1.3), clean, https://www.zhihu.com/search?q=masterpiece&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra=%7B%22sourceType%22%3A%22answer%22%2C%22sourceId%22%3A%223101973185%22%7D,finely detail,masterpiece,https://www.zhihu.com/search?q=ultra-detailed&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra=%7B%22sourceType%22%3A%22answer%22%2C%22sourceId%22%3A%223101973185%22%7D,highres,(best illustration),(https://www.zhihu.com/search?q=best%20shadow&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra=%7B%22sourceType%22%3A%22answer%22%2C%22sourceId%22%3A%223101973185%22%7D),intricate, bright light,light_smile

然后点击生成就可以了。

需要注意的是,这个插件一键换脸并不是十分完美,而且只能用于真人模型,对脸型的要求也比较苛刻(似乎更适合瓜子脸)。

请勿用于非法用途。

转载:https://www.zhihu.com/question/592715753/answer/3101973185

相关推荐
奔跑中的小象2 小时前
统信UOS + 天数AI卡部署SGLang服务手册
人工智能·uos·sglang·天数智芯
DevSecOps选型指南2 小时前
中国版Mythos,为何是悬镜安全灵脉CodeAI?
人工智能·安全
Shockang2 小时前
LangGraph 状态机实战
人工智能
刹那芳华19922 小时前
循环神经网络的从零开始实现(RNN)
人工智能·rnn·深度学习
阿童木写作2 小时前
跨境图片翻译工具多合一,批量图片视频字幕翻译加智能抠图
人工智能·python·音视频·语音识别
科技之门2 小时前
AI3D从建模到贴图、绑骨和动画的完整流程怎么做?V2Fun完整工作流指南
人工智能·3d·贴图
宇宙第一小趴菜2 小时前
二、机器学习的应用领域和发展史
人工智能·机器学习
前端开发江鸟2 小时前
我写过 MCP Server,却一直以为 MCP 只有 Tool
人工智能
天国梦3 小时前
自习室智能化升级避坑指南:天学网AI智习室方案实测与选型建议
大数据·人工智能
阿里云云原生3 小时前
可用性从 99.9% 跃升至 99.995%:畅捷通如何用 AI 重塑运维底座?
运维·网络·人工智能