目录
[ip-adaptor contrlNet](#ip-adaptor contrlNet)
[lineart controlNet](#lineart controlNet)
背景
很多场景下,需要完成人物风格变换,比如现在是写真集,想转换为动漫集。但我们需要人物原始特征保持不变,再者加上一些新的动漫背景,生成三次元图像,或生成3D画风图像,我们看看怎么处理。
ControlNet
lineart
要做到精确控制,还得需要controlNet 的加持。线稿类 controlNet 特别适合提取人物特征,在完整捕获人物特征基础上,配合与之应景的底模,加上适合场景的提示词,进行重绘,人物形象非常适合迁移。
lienart 的类型主要有两种:1)适合提取动漫特征,提取后可以将动漫风格转换为真实系列 2)标准提取,就是提取真实系的特征,将其转换为动漫系列。
IP-Adapter
这个ip-adaptor 就是绘制整体画面的背景风格,就像PS 图层叠加那种,如果你在上面已经有了蒙版或者配合了其他的controlNet,效果是可以叠加的。
一个是场景相关,一个是脸相关的 特征捕获获取。
实例
生成场景模特
操作
我手边也没有太多模特效果图,用 stable diffusion 先生成几个吧,基本操作思路,前面讲过了,还不会魔法的,看前面专栏,这里不再熬述。
正向提示词:
(RAW photo, 4k, realistic, exquisitely detailed skin),masterpiece,best quality,unity 8k wallpaper,ultra detailed,cinematic look,natural skin texture,extremely realistic skin texture,finely detailed face,(film grain:1.2),cinematic angle,Fujifilm XT3,(highlydetailed),(night scene),(street corner),(1girl),(detailed lighting),(contrast),(mysterious atmosphere),vivid illumination,masterful technique,harmonious composition,immersive atmosphere,stunning visuals,
反向提示词:
ng_deepnegative_v1_75t,badhandv4,(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),bad_pictures,
生成效果
生成背景
操作
希望有一个星空的背景,直接生成一个吧
正向提示词
HTTP,sky,scenery,1girl,starry sky,night,reflection,night sky,outdoors,water,
反向提示词
verybadimagenegative_v1.3,
生成效果
融合
我们将人物与背景进行融合。为了固定人物,采用lineart controlNet。为了模仿背景,我们选择ip-adaptor风格。
模型和正反向提示词都不变
ip-adaptor contrlNet
注意这里权重一般选择0.8,否则就太死板了,没必要