Stable Diffusion教程:图生图_stable diffusion 图生图

  • 本文主要分为四部分:

    1. 图生图原理
    1. 图生图流程介绍
    1. 随机种子Seed的应用
    1. 图生图应用场景

今天开始讲解 SD 的「图生图」功能。你一定看到过下面这样的例子,通过原图通过AI绘画加工成自己想要的图片。

在 Midjourney 中叫「垫图」,而在 Stable Diffusion 中我们叫「图生图」,其实是差不多的意思。


1、图生图原理

我们前面介绍过「文生图」,但是「文生图」有一个最大的特点就是「随机性」。对图片的操作几乎没有可控性一说,它画出来的图片可能根本不符合我们的需求。

在我们的现实生活里,这种对需求的偏差与错误理解还是很普遍存在的。

假如你是客户,负责产生设计需求,而设计师负责实现需求。你除了不断用文字和语言描述你的需求,还有什么方法让设计师秒懂你需求想法呢?

你是不是通常会找一张类似风格的图片,说:跟这张图差不多的风格,你帮我模仿着这张图来。

那么在AI的世界里,同样也存在这样的情况,「文生图」就好像你对着一个AI设计师不断的用语言沟通,AI对你的需求理解是存在偏差的。

「图生图」就好像,你找好了一个模板给AI设计师,说:给我按照这个风格来。那么AI设计师就会从图片上获得更多信息,原本的图片上记录的像素信息会在这个「加噪」和「去噪」的过程中被作为一种特征反应在作品上,最后越来越接近你的需求。

那么「图生图」到底什么意思呢?实现把一张照片用另一种完全不同的方法画出来的过程,在 AI 的世界里管它叫「图生图」。简单来说的话,「图生图」可以帮助你把一张图片画成另一种模样。

这下你明白了吧?借助AI里面的「图生图」,你可以将真实世界里的人物变成二次元世界的人物,你也可以将动漫角色人物变成真实人物面孔。是不是很魔幻?


2、图生图流程介绍

在上面我们已经很清晰的介绍完了「图生图」的原理,那具体应该怎么去做呢,「图生图」具体的流程是什么样的呢?

在 SD 里面进行「图生图」主要分为三步:导入图片、书写提示词、调整参数

第一步:导入图片

打开 SD WebUI 找到「图生图」的操作界面,基本功能和「文生图」差不多,但在中间多了一个「上传图片」的流程。

这个位置也是我们上传本地图片到 SD 中的主要环节。将我们准备好的图片上传上去。

导入图片后,还有其他的一些功能,例如说涂鸦、局部重绘、涂鸦重绘等,我们在后续的环节中再讲解。

第二步:书写提示词

其实「图生图」的提示词和「文生图」的提示词书写逻辑是一样。

02 AI绘画提示词原理详解

当然在「图生图」中提示词也很重要,我们可以用上篇文章中学到的,尝试描述一下我们刚刚上传的图片的特征。先简单做个示范

第三步:参数调整

「图生图」的参数和「文生图」参数基本上差不多,但是也有一些「图生图」才有的参数。

例如说「重绘幅度」。我们一般设置在 0.6 ~ 0.8 之间

其他参数的话,不再多啰嗦了。我们上一篇文章里面已经讲过了,还没看过的朋友,点下面这个链接

02 AI绘画提示词原理详解

在这里我们把「采样方法」设置为「DPM++ SDE Karras」

「提示词引导系数」设置为:8

「迭代步数」设置为:20

图片分辨率设置为:500 * 500

全部设置完成后,我们点击生成,这时候我们就利用「图生图」生成了一张新的图片。

这是我们通过「图生图」生成出来的一个最基本的全部过程,但是还有很多改进的空间。

那么还有哪些方面是可以优化的呢?提示词、重绘幅度设置、分辨率设置。

在提示词的环节,我们可以对上传的图片描述更具体、更精准。

如果没有描述清楚,那么就有可能导致画出来的图片翻车,因为AI只读取了图片,但是没有对图片中的具体内容。

可以根据我们上一篇文章讲到的提示词来优化我们现在的提示词。这里不再具体说细节了,我们上篇文章已经对提示词做了很清晰的讲解。

02 AI绘画提示词原理详解

那么优化之后的样子是什么样的呢?

继续对「重绘幅度」进行优化。在设置的时候也需要自己调试一个安全范围,太高可能会导致画面变形,太低又看不出具体的重绘效果。

那么我们尝试后,找到「重绘幅度」的平衡点是多少呢?

最后我们再来优化一下图片的分辨率。

我们最好是跟原图的尺寸一样。什么意思呢?假如你原图是 512 * 512,那说明比例是 1:1 的。那么你输出的图片的比例也应该是 1:1的。

否则我们生成的图片是会严重变形的。我们设置为 800 * 800,也是能和原图的1:1比例对应起来的。

如果你上传的图片分辨率是非常大的,那么是需要事先将图片裁剪到能被SD画出来的安全范围。

在上面这些参数都进行优化了之后,我们再点击「生成」。

这时候很明显是要比前面第一次生成的效果要好的。


3、随机种子seed的应用

就像我们之前说的,就算你给你原图,但是如果不对提示词进行准确精准的描述,或者不调试合适的参数的话,AI也不能准确无误的懂得你的意思。

如果我们原图背景本来是室外的,而通过「图生图」生成出来的图片是室内的。

那么我们倒是可以通过增加和修改提示词,来达到我们想要的室内效果。

修改完新的提示词后,我们得到的效果是下面这样,都成了室内的图片。

但是又出现了新的问题,但是人物的姿势怎么改变了,还是AI的「随机性」在作祟。

我们还是想要和之前的人物姿势一样,这怎么办呢?这时候我们就要用到「随机种子」

AI生成一幅作品的过程是随机的,但它的每一次生成都有自己的一套描述方式,而这个描述方式会被记录成一组随机数,也就是随机种子。

不同的随机种子生成出来的图片肯定是不一样的,但是如果你用同一个随机种子来生成图片,那肯定两组图片的相似度是非常高的,因为都是用同一套随机方法生成出来的。

因为你每生成一张图,就会生成一套随机种子,有的种子效果好,有的种子效果差。你可以把这个随机种子简单理解成AI生成这张图的唯一编号。

在「随机种子」这个选项中,左边的🎲按钮可以把随机种子设置为 -1,就是每次都生成新的种子。右边的循环按钮就是代表重用上一次使用的随机种子。

当然除了随机种子的设置除了上面介绍的两种方式外,你也是可以自行输入的。例如说,我在图库浏览里面找到上次生成的随机种子复制出来填写到本次生成图片的随机种子里面,这样也是可以的

话不多说,我们实操一遍,将上一次的随机种子作为本次的随机种子。

点击生成图片。这时候两张图片的风格和姿势是不是都很相似了?


4、图生图应用场景

在学习了解完上面我们所有关于「图生图」的细节之后,我们再来说说「图生图」的具体应用场景有哪些。

场景一:将原图进行二次加工

我们今天有运用到的。其实这个场景很多AI相机里面都是可以做到的,但是我们通过 SD WebUI 能更加细致的来操作这个演变的过程,更加可控。

场景二:把非人像的图片变成人物形象

这种方式你可以做一些风景的拟人画,风景变成人物。

场景三:将草稿图通过AI进行补全

将草稿图上传到 SD WebUI,再对图片用提示词进行准确地描述。

当然我这里只是简单的给大家列举出常用的一些「图生图」场景,更多的场景你也可以发挥自己的想象。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

相关推荐
weixin_4374977710 小时前
读书笔记:Context Engineering 2.0 (上)
人工智能·nlp
喝拿铁写前端10 小时前
前端开发者使用 AI 的能力层级——从表面使用到工程化能力的真正分水岭
前端·人工智能·程序员
goodfat10 小时前
Win11如何关闭自动更新 Win11暂停系统更新的设置方法【教程】
人工智能·禁止windows更新·win11优化工具
北京领雁科技10 小时前
领雁科技反洗钱案例白皮书暨人工智能在反洗钱系统中的深度应用
人工智能·科技·安全
落叶,听雪10 小时前
河南建站系统哪个好
大数据·人工智能·python
清月电子11 小时前
杰理AC109N系列AC1082 AC1074 AC1090 芯片停产替代及资料说明
人工智能·单片机·嵌入式硬件·物联网
Dev7z11 小时前
非线性MPC在自动驾驶路径跟踪与避障控制中的应用及Matlab实现
人工智能·matlab·自动驾驶
七月shi人11 小时前
AI浪潮下,前端路在何方
前端·人工智能·ai编程
橙汁味的风11 小时前
1隐马尔科夫模型HMM与条件随机场CRF
人工智能·深度学习·机器学习
程序员X小鹿11 小时前
年底赶工必备:分享3个可以一键美化Excel表格的AI神器,打工人必备!(建议收藏)
aigc