Stable Diffusion基础:ControlNet之画风融合

今天继续给大家分享 Stable Diffusiion 的基础能力:ControlNet 之画风融合。

基本介绍

首先我们来明确一个概念:什么是画风?

我通过AI大模型获取了一个答案,自认为还比较容易理解:画风是指绘画的风格,包括作者对人物、布景等的绘画手法,线条处理,色彩、色调等其他方面的处理手法,以及动画创作者的作画风格等。

本文用到的 ControlNet 类型是Shuffle,它的本意是洗牌、打散。Shuffle的预处理器会把图片中的元素扭曲组合,然后Shuffle模型会使用这些信息,结合其它SD控制参数一起生成图片。

为了更直观的感受这个处理方法,我这里用Anything模型参考"蒙娜丽莎"生成了一张图片:

从上面这个例子,我们可以看到:生成图片参考了原图的色彩、色调和一些光影效果,以及部分元素(背景中高低起伏的地面),甚至人物的发型、姿势等特征,同时图片也受到大模型的很多约束,线条的处理,人物的面部、头发、服饰等都是Anything的二次元风格。

绘制的图片既有参考图的部分风格,又有大模型的部分风格,两种风格出现在同一张图中,融合到了一起,所以我这里称之为画风融合。

如果你感觉这个说法还是有点单薄,下面会有更多的示例。不过在此之前,我想先演示下 Shuffle 的用法,以便让大家能够更快的开始自己的创作。

使用方法

对 ControlNet 缺乏概念的同学,还是要先去了解一些基础知识,参考这篇文章:ControlNet的安装方法

选择一个你喜欢的大模型,通过提示词描述你想要的画面,通过反向提示词做一些画面约束。

  • 随便选择一个采样器,这里选择一个比较新的 DPM++ 2M SDE Karras,速度和效果都比较好,采样步数在20-40。
  • 设置你想要生成图片的尺寸,数值越大生成越慢,一般不要超过1024;宽高比常见的有1:1、2:3、3:4、9:16等,宽高比过于悬殊,画面结构可能会崩坏,这里宽高采用了2:3的比例。

在ControlNet区域:

  • 选择一个Unit,一般就是第一个;
  • 上传一张参考图片;
  • 勾选"启用";勾选"完美匹配像素",让预处理器自动识别参考图的分辨率;勾选"允许预览",方便查看 Shuffle 预处理的结果。
  • Control Type 这里勾选"Shuffle";
  • Shuffle的预处理器和模型都只有一种,勾选"Shuffle"后会自动加载;
  • 其它参数先使用默认值就可以。

然后就可以去生成图片了。

绘图示例

下面是使用 Shuffle 绘制图片的一些示例。为了更全面的感受 Shuffle 的效果,我选择了多种风格的参考图,大模型使用了 AnythingV5 和 realisticVisionV51,它们分别是二次元模型和真实模型。

下面3张图的顺序都是:参考图、AnythingV5、realisticVisionV51。

如果你有兴趣,可以下载这些图片,然后在 Stable Diffusion WebUI 中查看图片生成参数,下载方法请查看文章最后部分。

赛博朋克

文生图,赛博朋克风格,Shuffle ControlNet。参考图中的光影效果深刻影响了生成的图片。

古风仕女

文生图,女子,Shuffle ControlNet。除了色彩很像,看这两个小眼神,好像也受到了参考图的很大影响。在真实模型生成的图片中还出现了参考图中的一些花花草草。

文生图,男子,Shuffle ControlNet。参考图是女子,也不影响生成男人。

水墨画

文生图,女孩,Shuffle ControlNet。

文生图,山水画,Shuffle ControlNet。

小说推文插画

文生图,女孩,Shuffle ControlNet。生成图片融合了一种很干净利索的感觉。

工笔画风

文生图,女孩,Shuffle ControlNet。这个五颜六色的组合还挺搭的,没有庸俗感。

蒙娜丽莎(图生图约束)

图生图,蒙娜丽莎,Shuffle ControlNet。

使用图生图,较小的重绘幅度,约束画面的结构,但是色彩、色调都会使用参考图的。

二次元(线稿约束)

文生图,女孩,Shuffle ControlNet + Lineart ControlNet。

这里使用了 Lineart ControlNet 来约束画面,使得整体画面结构不变,只改变色彩和细节。

Lineart的参考图片是下面这张:

下面这几张是添加 Shuffle 生成的图片:

总结

从出图示例我们可以看到,Shuffle 提供的画风融合能力主要在色彩、色调,以及参考图中部分元素和效果;生成图片的线条处理、人物的绘画手法还是主要由大模型来控制的。

资源下载

本文使用的模型、插件,生成的图片,都已经上传到了我整理的SD绘画资源中,后续也会持续更新,如有需要,请关/注/公/众/号:萤火遛AI(yinghuo6ai),发消息:SD,即可获取下载地址。

如果你还没有使用过Stable Diffusion WebUI,可以先看这几篇文章,了解下如何使用:

手把手教你在本机安装Stable Diffusion秋叶整合包

手把手教你在云服务器部署Stable Diffusion WebUI

SDXL 1.0出图效果直逼Midjourney!手把手教你快速体验!


以上就是本文的主要内容了,如有问题,欢迎给我留言沟通交流。

相关推荐
小溪彼岸1 小时前
快来添加你的第一位AI好友
aigc
爱吃的小肥羊2 小时前
这个免费的AI插件,居然让我5分钟看完2小时的YouTube视频!
aigc
数据智能老司机18 小时前
构建具备自主性的人工智能系统——探索协调者、工作者和委托者方法
深度学习·llm·aigc
数据智能老司机18 小时前
构建具备自主性的人工智能系统——使代理能够使用工具和进行规划
深度学习·llm·aigc
漫谈网络1 天前
Ollama工具调用(Tool Calls)业务应用案例
linux·ai·aigc·工具调用·ollama·tool calls
SQ有空就喝水1 天前
Midscene 提示词工程实战:从入门到精通的 11 个核心技巧
前端·aigc·ai编程
有梦想的攻城狮1 天前
AIGC架构与原理
人工智能·ai·架构·aigc
漫谈网络2 天前
Ollama API 应用指南
ai·llm·aigc·api·ollama
程序员X小鹿2 天前
用了两天最近很火的秘塔AI「今天学点啥」,网址、文档秒变视频课程!虽不完美,但依然力挺!(附实测体验)
aigc
量子位2 天前
北大团队引领 3D 生成与对齐革新:OctGPT 打破扩散模型垄断
人工智能·gpt·aigc