Stable Diffusion 解决文生图的局限性:图生图的崭新篇章

前面的课程我们学会了通过 文生图 相关的所有内容

从这一节开始我们进入一个新篇章,图生图

在 文生图 模式下虽然可以根据 prompt 出效果很好的图,但也存在一些问题,比如

  • 我们想要微调一些细节,就只能通过修改 prompt 来实现,但是这样的效果并不好
  • 文生图的出图结果太随机
  • 没办法根据我们自己的图进行二次加工

这些问题文生图就搞不定了,下面几节内容我们通过深入学习 图生图 就可以很好的解决上述问题

本节课模特

参数如下:

scss 复制代码
模型:
deliberate

正向Prompt:

(realistic photo shot in a dark studio), ( full body shot), (20 year old girl sexy poses in the gym), sports leggings, sports bra, beautiful detailed face, supermodel, (skinny and fit body:1.1), small breasts, pale skin, detailed long blond hair, heavy makeup, (realistic glistening skin), masterpiece, best quality, high resolution scan, (photo by Canon 5d, 50mm ZEISS lens), hourglass proportions, (8k uhd, hdr, dof), (professionally color graded), sharp focus, rim lighting, dimly lit, two tone lighting, dark,((wear jacket))

反向 prompt:
Asian, (bad_prompt_version2:0.8), (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), (sepia), (deformed iris, deformed pupils, semi-realistic, 3d, render, cg, painting, drawing, cartoon, anime, comic:0.6), text, print, signature, logo, watermark, bad_quality, long body, long neck, NG_DeepNegative_V1_75T, easynegative,

seed 种子:
1345616590

步数:20

一 图生图简介

图生图和文生图的原理几乎一样,文生图直接根据 prompt 描述来生成图片。而图生图则是在这个基础上添加图片的信息,图片+prompt 生成新的图。

整个页面和文生图也基本上一致,这节我们主要来讲解多出来的几块内容

  • 重绘幅度
  • 图生图下的prompt如何用
  • 缩放模式

二 重绘幅度

开头我们说图生图的目标就是为了可以根据图片为基准来生成新的图,如果生成的图和原图看不出来联系,那么图生图是不是就没什么意义了? 重绘幅度 就是来控制这个参数的

我们可以先来看看效果(通过前的课程学到的 X/Y/Z图标来看看不同的 重绘幅度对于原图的影响程度)

1 文生图到图生图

图生图的入口有两种方式

一种是自己上传一张图片到图生图的上传框

另外一种就是在文生图中将生成好的图直接移动到 图生图中

2 模型切换

我们需要切换一个主模型,在同模型下出图的效果变化不大,我们尝试将三次元转成二次元动漫风格

3 X/Y/Z 脚本控制 重绘幅度

重绘幅度的范围是 0-1 ,所以我们可以打开 X/Y/Z 图表脚本,让 SD 一次性生成10张图

4 效果图

跑出来最终的效果:

可以发现,当重绘幅度越高,那么生成出来的原图就越抽象,说白了和原图就没有任何关系了。我们就可以控制我们的期望了,搭配不同的模型+不同程度的重绘幅度生成不同类型的新图。

三 图生图下的 prompt

既然已经图生图了,那么 prompt 还有用嘛?

依然有用,而且是很有用。

文生图相当于是让 SD 根据你的想法来画一张图

而图生图+prompt,则是告诉 SD 按照我的意思来修一下这张图

举个例子:目前这张图的背景不太好看,我们希望把背景切换到一个健身房(在正向 prompt 中加入 "一个背景在健身房")

scss 复制代码
正向 prompt:
(realistic photo shot in a dark studio), (medium full body shot), (20 year old girl sexy poses in the gym), sports leggings, sports bra, beautiful detailed face, supermodel, (skinny and fit body:1.1), small breasts, pale skin, detailed long blond hair, heavy makeup, (realistic glistening skin), masterpiece, best quality, high resolution scan, (photo by Canon 5d, 50mm ZEISS lens), hourglass proportions, (8k uhd, hdr, dof), (professionally color graded), sharp focus, rim lighting, dimly lit, two tone lighting, dark,((wear jacket))

background in fitness room

最终就会发现,背景和人物都有了在健身房的"状态"。同样的如果我们加入更多的细节 prompt,那么效果就会更好

四 图生图套娃

有的时候在使用图生图发现不管怎么控制 重绘幅度,最后的效果要么和原图差不多,要么就是和原图一点都不像了

这个时候我们就可以通过 图生图套娃 来小步重绘,每一次重绘做小步的转换,最后能够保留大部分特征的情况进行模型风格转换。

通过多轮图生图,效果要好于直接一次拉高重绘幅度,这个就可以找一个Q版的模型来制作Q版人物了!

五 缩放模式

1 拉伸

拉伸就比较好理解了。当我们调整了分辨率后导致和原图不一致,那么 SD 该如何处理呢?拉伸模式就会直接把图片拉大(不推荐使用)

2 裁剪

同理,如果设置的分辨率要小于原分辨率,裁剪就会将多余的剪掉

3 填充

填充模式就比较有意思了,如果设置的分辨率要高于原图的分辨率,那么多出来的部分 SD 会帮助我们进行填充,

而填充的内容则会依赖于 重绘幅度,重绘幅度越高,"想象力则越丰富"

重绘幅度 0.2 的情况下把分辨率拉到 2048 * 1024。SD 会把多出来的背景会进行填充处理

可以看到效果好像不是特别明显

如果我们把重绘幅度拉到 0.55 在看看效果,SD 的"抽象"能力就体现出来了。同样的想要进一步控制背景的话就需要进一步调整我们的 prompt 即可。

快快上手玩起来,并私聊发一张你作的图吧😄

下一节,我们继续深入学习 图生图模式下的增强功能

相关推荐
Baihai_IDP3 小时前
「混合专家模型」可视化指南:A Visual Guide to MoE
人工智能·llm·aigc
春末的南方城市4 小时前
开源音乐分离器Audio Decomposition:可实现盲源音频分离,无需外部乐器分离库,从头开始制作。将音乐转换为五线谱的程序
人工智能·计算机视觉·aigc·音视频
KuaFuAI4 小时前
微软推出的AI无代码编程微应用平台GitHub Spark和国产AI原生无代码工具CodeFlying比到底咋样?
人工智能·github·aigc·ai编程·codeflying·github spark·自然语言开发软件
扫地的小何尚11 小时前
NVIDIA RTX 系统上使用 llama.cpp 加速 LLM
人工智能·aigc·llama·gpu·nvidia·cuda·英伟达
程序员X小鹿19 小时前
免费,手机可用!一款AI数字人生成工具,200+数字人形象任选,3分钟定制专属数字人!(附教程)
aigc
狼爷1 天前
Reddit 舞台上的 AI:解码用户生活密码,隐私警钟敲响
安全·aigc
AI极客菌1 天前
[ComfyUI]Flux:繁荣生态魔盒已开启,6款LORA已来,更有MJ6&写实&动漫&风景&艺术&迪士尼全套
ai作画·stable diffusion·aigc·midjourney·人工智能作画·comfyui·风景
袁庭新1 天前
安装luasocket模块时提示“sudo: luarocks:找不到命令“问题,该如何解决?
java·人工智能·ai·aigc·lua·luarocks·袁庭新
阿牛牛阿2 天前
多模态大模型(1)--CLIP
算法·机器学习·ai·aigc
想成为高手4992 天前
成功男人背后的女人--解析AIGC幕后的算法原理
算法·aigc