Stable Diffusion 使用详解(6)---人物风格及背景变换

目录

背景

ControlNet

lineart

IP-Adapter

实例

生成场景模特

操作

生成效果

生成背景

操作

生成效果

融合

[ip-adaptor contrlNet](#ip-adaptor contrlNet)

[lineart controlNet](#lineart controlNet)

生成效果


背景

很多场景下,需要完成人物风格变换,比如现在是写真集,想转换为动漫集。但我们需要人物原始特征保持不变,再者加上一些新的动漫背景,生成三次元图像,或生成3D画风图像,我们看看怎么处理。

ControlNet

lineart

要做到精确控制,还得需要controlNet 的加持。线稿类 controlNet 特别适合提取人物特征,在完整捕获人物特征基础上,配合与之应景的底模,加上适合场景的提示词,进行重绘,人物形象非常适合迁移。

lienart 的类型主要有两种:1)适合提取动漫特征,提取后可以将动漫风格转换为真实系列 2)标准提取,就是提取真实系的特征,将其转换为动漫系列。

IP-Adapter

这个ip-adaptor 就是绘制整体画面的背景风格,就像PS 图层叠加那种,如果你在上面已经有了蒙版或者配合了其他的controlNet,效果是可以叠加的。

一个是场景相关,一个是脸相关的 特征捕获获取。

实例

生成场景模特

操作

我手边也没有太多模特效果图,用 stable diffusion 先生成几个吧,基本操作思路,前面讲过了,还不会魔法的,看前面专栏,这里不再熬述。

正向提示词:

(RAW photo, 4k, realistic, exquisitely detailed skin),masterpiece,best quality,unity 8k wallpaper,ultra detailed,cinematic look,natural skin texture,extremely realistic skin texture,finely detailed face,(film grain:1.2),cinematic angle,Fujifilm XT3,(highlydetailed),(night scene),(street corner),(1girl),(detailed lighting),(contrast),(mysterious atmosphere),vivid illumination,masterful technique,harmonious composition,immersive atmosphere,stunning visuals,

反向提示词:

ng_deepnegative_v1_75t,badhandv4,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),bad_pictures,

生成效果

生成背景

操作

希望有一个星空的背景,直接生成一个吧

正向提示词

HTTP,sky,scenery,1girl,starry sky,night,reflection,night sky,outdoors,water,

反向提示词

verybadimagenegative_v1.3,

生成效果

融合

我们将人物与背景进行融合。为了固定人物,采用lineart controlNet。为了模仿背景,我们选择ip-adaptor风格。

模型和正反向提示词都不变

ip-adaptor contrlNet

注意这里权重一般选择0.8,否则就太死板了,没必要

lineart controlNet

生成效果

相关推荐
空白诗3 天前
CANN ops-nn 算子解读:Stable Diffusion 图像生成中的 Conv2D 卷积实现
深度学习·计算机视觉·stable diffusion
学易3 天前
第十五节.别人的工作流,如何使用和调试(上)?(2类必现报错/缺失节点/缺失模型/思路/实操/通用调试步骤)
人工智能·ai作画·stable diffusion·报错·comfyui·缺失节点
心疼你的一切3 天前
基于CANN仓库算力手把手实现Stable Diffusion图像生成(附完整代码+流程图)
数据仓库·深度学习·stable diffusion·aigc·流程图·cann
Niuguangshuo4 天前
DALL-E 3:如何通过重构“文本描述“革新图像生成
人工智能·深度学习·计算机视觉·stable diffusion·重构·transformer
Niuguangshuo4 天前
深入解析 Stable Diffusion XL(SDXL):改进潜在扩散模型,高分辨率合成突破
stable diffusion
Niuguangshuo4 天前
深入解析Stable Diffusion基石——潜在扩散模型(LDMs)
人工智能·计算机视觉·stable diffusion
迈火4 天前
SD - Latent - Interposer:解锁Stable Diffusion潜在空间的创意工具
人工智能·gpt·计算机视觉·stable diffusion·aigc·语音识别·midjourney
迈火12 天前
Facerestore CF (Code Former):ComfyUI人脸修复的卓越解决方案
人工智能·gpt·计算机视觉·stable diffusion·aigc·语音识别·midjourney
重启编程之路13 天前
Stable Diffusion 参数记录
stable diffusion
孤狼warrior16 天前
图像生成 Stable Diffusion模型架构介绍及使用代码 附数据集批量获取
人工智能·python·深度学习·stable diffusion·cnn·transformer·stablediffusion