Stable Diffusion 使用详解(6)---人物风格及背景变换

目录

背景

ControlNet

lineart

IP-Adapter

实例

生成场景模特

操作

生成效果

生成背景

操作

生成效果

融合

[ip-adaptor contrlNet](#ip-adaptor contrlNet)

[lineart controlNet](#lineart controlNet)

生成效果


背景

很多场景下,需要完成人物风格变换,比如现在是写真集,想转换为动漫集。但我们需要人物原始特征保持不变,再者加上一些新的动漫背景,生成三次元图像,或生成3D画风图像,我们看看怎么处理。

ControlNet

lineart

要做到精确控制,还得需要controlNet 的加持。线稿类 controlNet 特别适合提取人物特征,在完整捕获人物特征基础上,配合与之应景的底模,加上适合场景的提示词,进行重绘,人物形象非常适合迁移。

lienart 的类型主要有两种:1)适合提取动漫特征,提取后可以将动漫风格转换为真实系列 2)标准提取,就是提取真实系的特征,将其转换为动漫系列。

IP-Adapter

这个ip-adaptor 就是绘制整体画面的背景风格,就像PS 图层叠加那种,如果你在上面已经有了蒙版或者配合了其他的controlNet,效果是可以叠加的。

一个是场景相关,一个是脸相关的 特征捕获获取。

实例

生成场景模特

操作

我手边也没有太多模特效果图,用 stable diffusion 先生成几个吧,基本操作思路,前面讲过了,还不会魔法的,看前面专栏,这里不再熬述。

正向提示词:

(RAW photo, 4k, realistic, exquisitely detailed skin),masterpiece,best quality,unity 8k wallpaper,ultra detailed,cinematic look,natural skin texture,extremely realistic skin texture,finely detailed face,(film grain:1.2),cinematic angle,Fujifilm XT3,(highlydetailed),(night scene),(street corner),(1girl),(detailed lighting),(contrast),(mysterious atmosphere),vivid illumination,masterful technique,harmonious composition,immersive atmosphere,stunning visuals,

反向提示词:

ng_deepnegative_v1_75t,badhandv4,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),bad_pictures,

生成效果

生成背景

操作

希望有一个星空的背景,直接生成一个吧

正向提示词

HTTP,sky,scenery,1girl,starry sky,night,reflection,night sky,outdoors,water,

反向提示词

verybadimagenegative_v1.3,

生成效果

融合

我们将人物与背景进行融合。为了固定人物,采用lineart controlNet。为了模仿背景,我们选择ip-adaptor风格。

模型和正反向提示词都不变

ip-adaptor contrlNet

注意这里权重一般选择0.8,否则就太死板了,没必要

lineart controlNet

生成效果

相关推荐
qq_3988989310 小时前
【简单三步】Stable diffusion Webai本地部署无法加载模型并报openai/clip-vit-large-patch14错误的解决方法
stable diffusion
ai_xiaogui10 小时前
AIStarter用户与创作者模式详解:一键管理Stable Diffusion项目!
人工智能·stable diffusion·一键发布ai项目·熊哥aistarter教程·开发者必备aistarter
一禅(OneZen)1 天前
「Windows/Mac OS」AIGC图片生成视频 ,webui + stable-diffusion环境部署教程
windows·stable diffusion
ai_xiaogui3 天前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装
sigmoidAndRELU4 天前
读Vista
笔记·stable diffusion·世界模型
修炼室19 天前
Stable Diffusion WebUI 本地部署完整教程
stable diffusion
NetX行者19 天前
Stable Diffusion:开启AI图像生成新纪元
人工智能·stable diffusion
这是一个懒人24 天前
SD和comfyui常用模型介绍和下载
stable diffusion·comfyui·模型下载
有点小帅得平哥哥25 天前
Stable Diffusion WebUI 本地部署指南(Windows 11 + RTX 4060 Ti)
stable diffusion
CoovallyAIHub1 个月前
突破异常数据瓶颈!AnomalyAny:一句话+一张图,零样本生成任意异常图像
计算机视觉·stable diffusion