Stable Diffusion 使用详解(6)---人物风格及背景变换

目录

背景

ControlNet

lineart

IP-Adapter

实例

生成场景模特

操作

生成效果

生成背景

操作

生成效果

融合

[ip-adaptor contrlNet](#ip-adaptor contrlNet)

[lineart controlNet](#lineart controlNet)

生成效果


背景

很多场景下,需要完成人物风格变换,比如现在是写真集,想转换为动漫集。但我们需要人物原始特征保持不变,再者加上一些新的动漫背景,生成三次元图像,或生成3D画风图像,我们看看怎么处理。

ControlNet

lineart

要做到精确控制,还得需要controlNet 的加持。线稿类 controlNet 特别适合提取人物特征,在完整捕获人物特征基础上,配合与之应景的底模,加上适合场景的提示词,进行重绘,人物形象非常适合迁移。

lienart 的类型主要有两种:1)适合提取动漫特征,提取后可以将动漫风格转换为真实系列 2)标准提取,就是提取真实系的特征,将其转换为动漫系列。

IP-Adapter

这个ip-adaptor 就是绘制整体画面的背景风格,就像PS 图层叠加那种,如果你在上面已经有了蒙版或者配合了其他的controlNet,效果是可以叠加的。

一个是场景相关,一个是脸相关的 特征捕获获取。

实例

生成场景模特

操作

我手边也没有太多模特效果图,用 stable diffusion 先生成几个吧,基本操作思路,前面讲过了,还不会魔法的,看前面专栏,这里不再熬述。

正向提示词:

(RAW photo, 4k, realistic, exquisitely detailed skin),masterpiece,best quality,unity 8k wallpaper,ultra detailed,cinematic look,natural skin texture,extremely realistic skin texture,finely detailed face,(film grain:1.2),cinematic angle,Fujifilm XT3,(highlydetailed),(night scene),(street corner),(1girl),(detailed lighting),(contrast),(mysterious atmosphere),vivid illumination,masterful technique,harmonious composition,immersive atmosphere,stunning visuals,

反向提示词:

ng_deepnegative_v1_75t,badhandv4,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),bad_pictures,

生成效果

生成背景

操作

希望有一个星空的背景,直接生成一个吧

正向提示词

HTTP,sky,scenery,1girl,starry sky,night,reflection,night sky,outdoors,water,

反向提示词

verybadimagenegative_v1.3,

生成效果

融合

我们将人物与背景进行融合。为了固定人物,采用lineart controlNet。为了模仿背景,我们选择ip-adaptor风格。

模型和正反向提示词都不变

ip-adaptor contrlNet

注意这里权重一般选择0.8,否则就太死板了,没必要

lineart controlNet

生成效果

相关推荐
人工智能AI技术21 小时前
【SD教程】提示词
人工智能·stable diffusion·aigc·ai绘画
一点晖光1 天前
stable diffusion搭建指南
stable diffusion
吐个泡泡v3 天前
扩散模型详解:从DDPM到Stable Diffusion再到DiT的技术演进
stable diffusion·transformer·扩散模型·ddpm·dit
Blossom.1183 天前
基于MLOps+LLM的模型全生命周期自动化治理系统:从数据漂移到智能回滚的落地实践
运维·人工智能·学习·决策树·stable diffusion·自动化·音视频
不会kao代码的小王6 天前
openEuler上Docker部署Kafka消息队列实战
前端·云原生·stable diffusion·eureka
Blossom.1188 天前
基于多智能体强化学习的云资源调度系统:如何用MARL把ECS成本打下来60%
人工智能·python·学习·决策树·机器学习·stable diffusion·音视频
Yeliang Wu9 天前
Stable Diffusion WebUI 从安装到实战:原理、部署与问题全解
stable diffusion
Yeliang Wu9 天前
ComfyUI 全流程指南:安装、配置、插件与模型选型
stable diffusion·文生图·图生图·comfyui
LCG米10 天前
[OpenVINO实战] 在边缘设备上运行Stable Diffusion,实现离线文生图
人工智能·stable diffusion·openvino
水上冰石10 天前
rtx5060部署stable-diffusion1.10.1版本注意事项
stable diffusion