AI绘画Stable Diffusion:超强InstantID插件—面部特征一致性风格保持与迁移,轻松搞定私人写真摄影,SDWebUI使用指南

大家好,我是设计师阿威

最近经常有同学问到AI绘画Stable Diffusion 关于风格迁移IPAInstant ID等安装和使用方法,内容虽基础但也属常用工具。因此,本文将核心介绍Instant ID 使用和墨幽人造人XL 体验(这是一款可出图商用的写实摄影模型)。

Instant ID 是一个创新的无需调整的风格保持和迁移方法 ,能够结合了 ControlNetIP-Adapter 来控制扩散过程中的面部特征的风格迁移。Instant ID 的一个独特设计在于将IP-Adapter中投影的面部嵌入作为交叉注意力输入传递给 ControlNet unet ,而非使用常规方法:ControlNet unet 的交叉注意力输入是提示的文本嵌入。如下图所示:

Instant ID插件安装

Instant ID 安装需要升级对应的sd-webui-controlnet 插件,对应版本不低于v1.1.438(插件下载请看下方扫描获取插件安装包哦)

模型下载

然后下载对应模型,并将其放置在 stable-diffusion-webui/models/ControlNet 目录下。同时需要将模型重命名为 ip-adapter_instant_id_sdxl.bincontrol_instant_id_sdxl.safetensors,以便插件能够正确识别这两个模型

Instant ID使用

在SD-WebUI 中使用InstantID 插件需要设置两个模型。并且,需要牢记:应该始终将 ipadapter 模型始终设置为第一个模型,因为 ControlNet 模型需要接收 ipadapter 模型的输出作为后续输入。

Unit 0 设置

ControlNet 单元之前,必须设置 ip-adapter单元IP-Adapter 单元输出的面部嵌入将作为下一个 ControlNet 单元的输入之一。

Unit 1 设置

ControlNet 单元接受包含面部5个关键点的关键点图,因此需要在Unit 1中使用keypoints选项。在这里可以使用与Unit 0中相同的人物的面部关键点,也可以不使用同一张面部图像作为输入。

另外,在官方文档中建议:将 CFG 设置为 4~5 以获得最佳结果。同时也提到,根据采样方法和基础模型这个数字可能会有所不同,但通常需要使用的 CFG 比例略低于正常的 CFG。同时还提到,如果将宽度x高度设置为1024*1024,那么生成水印、徽标的几率更高。这不能通过在负面提示中添加徽标水印关键词来纠正。可以通过设置其他宽度 x 高度值来避免这个问题。

Instant ID 体验

本小节中使用绘图配置为:

  • 绘图模型:墨幽人造人XL

  • 迭代步数:30

  • CFG:5

  • 分辨率:888*1280

01. 蓝色写真

绘图模型:墨幽人造人XL模型

woman,moyou, solo, on side, dress, lying, black hair, blue dress, snow, blue eyes, blue theme, looking at viewer, bare shoulders, lips, hair ornament, bare arms, A Beautiful Chinese Woman, lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1,

02. 光影写真

绘图模型:墨幽人造人XL模型

chinese women,tan lines,deep photo,depth of field,Superia 400,shadows,messy hair,perfect face and body,dark,nighttime,dark photo,grainy,seductive smirk,((eyes closed)), lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1,

03. 水中写真

绘图模型:墨幽人造人XL模型

(masterpiece,best quality, ultra realistic,32k,RAW photo,detail skin, 8k uhd, dslr,high quality, film grain:1.5),close up portrait of a cute woman bathing in a river,(backlighting),lens flare,shade,bloom,[[chromatic aberration]],by Jeremy Lipking,by Antonio J. Manzanedo,digital painting, lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1, <lora:HK film style XL:1>

04. 动漫香港风

绘图模型:Dream Anime XL | 筑梦动漫XL模型

HK film style, close-up shot back view of an attractive woman wearing pink dress standing in front of a neon sign, neon orange lighting, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1, <lora:HK film style XL:1>

05. 霓虹动漫

绘图模型:Dream Anime XL | 筑梦动漫XL模型

HK film style,close-up shot side view of an attractive woman with glasses wearing black knitted crewneck leaning against the wall standing in front of a neon sign,neon red lighting,in the style of Wong Kar Wai film,award-winning picture,highly detailed,ultra-high resolutions,32K UHD,best quality,masterpiece, lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1, <lora:HK film style XL:1>

06. 香港风动漫-酒吧

绘图模型:Dream Anime XL | 筑梦动漫XL模型

HK film style, an attractive woman wearing fashion outfit sitting at a table inside a bar, her head leaning against her arm, gradient red-orange and blue neon lighting, dark environment, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece,  <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

相关推荐
AI绘画小3317 小时前
【comfyui教程】comfyui古风一键线稿上色,效果还挺惊艳!
人工智能·ai作画·stable diffusion·aigc·comfyui
AI绘画月月18 小时前
【comfyui教程】ComfyUI有趣工作流推荐:快速换脸,创意随手掌握!
人工智能·ai作画·stable diffusion·aigc·comfyui
AI绘画咪酱19 小时前
【AI绘画】AI绘图教程|stable diffusion(SD)图生图涂鸦超详细攻略,教你快速上手
人工智能·ai作画·stable diffusion·aigc·midjourney
过去式的马马马19 小时前
文多多AIPPT
ai作画·aigc·文心一言·ai编程·dall·e 2
HuggingAI1 天前
stable diffusion 大模型
人工智能·ai·stable diffusion·ai绘画
HuggingAI1 天前
stable diffusion图生图
人工智能·ai·stable diffusion·ai绘画
HuggingAI2 天前
stable diffusion文生图
人工智能·stable diffusion·ai绘画
云端奇趣2 天前
Stable Diffusion 绘画技巧分享,适合新手小白的技巧分享
人工智能·stable diffusion
浮华落定2 天前
lora训练模型 打造个人IP
ai绘画
DisonTangor2 天前
OPPO开源Diffusion多语言适配器—— MultilingualSD3-adapter 和 ChineseFLUX.1-adapter
人工智能·ai作画·开源·aigc