Stable Diffusion基础:ControlNet之画风融合

今天继续给大家分享 Stable Diffusiion 的基础能力:ControlNet 之画风融合。

基本介绍

首先我们来明确一个概念:什么是画风?

我通过AI大模型获取了一个答案,自认为还比较容易理解:画风是指绘画的风格,包括作者对人物、布景等的绘画手法,线条处理,色彩、色调等其他方面的处理手法,以及动画创作者的作画风格等。

本文用到的 ControlNet 类型是Shuffle,它的本意是洗牌、打散。Shuffle的预处理器会把图片中的元素扭曲组合,然后Shuffle模型会使用这些信息,结合其它SD控制参数一起生成图片。

为了更直观的感受这个处理方法,我这里用Anything模型参考"蒙娜丽莎"生成了一张图片:

从上面这个例子,我们可以看到:生成图片参考了原图的色彩、色调和一些光影效果,以及部分元素(背景中高低起伏的地面),甚至人物的发型、姿势等特征,同时图片也受到大模型的很多约束,线条的处理,人物的面部、头发、服饰等都是Anything的二次元风格。

绘制的图片既有参考图的部分风格,又有大模型的部分风格,两种风格出现在同一张图中,融合到了一起,所以我这里称之为画风融合。

如果你感觉这个说法还是有点单薄,下面会有更多的示例。不过在此之前,我想先演示下 Shuffle 的用法,以便让大家能够更快的开始自己的创作。

使用方法

对 ControlNet 缺乏概念的同学,还是要先去了解一些基础知识,参考这篇文章:ControlNet的安装方法

选择一个你喜欢的大模型,通过提示词描述你想要的画面,通过反向提示词做一些画面约束。

  • 随便选择一个采样器,这里选择一个比较新的 DPM++ 2M SDE Karras,速度和效果都比较好,采样步数在20-40。
  • 设置你想要生成图片的尺寸,数值越大生成越慢,一般不要超过1024;宽高比常见的有1:1、2:3、3:4、9:16等,宽高比过于悬殊,画面结构可能会崩坏,这里宽高采用了2:3的比例。

在ControlNet区域:

  • 选择一个Unit,一般就是第一个;
  • 上传一张参考图片;
  • 勾选"启用";勾选"完美匹配像素",让预处理器自动识别参考图的分辨率;勾选"允许预览",方便查看 Shuffle 预处理的结果。
  • Control Type 这里勾选"Shuffle";
  • Shuffle的预处理器和模型都只有一种,勾选"Shuffle"后会自动加载;
  • 其它参数先使用默认值就可以。

然后就可以去生成图片了。

绘图示例

下面是使用 Shuffle 绘制图片的一些示例。为了更全面的感受 Shuffle 的效果,我选择了多种风格的参考图,大模型使用了 AnythingV5 和 realisticVisionV51,它们分别是二次元模型和真实模型。

下面3张图的顺序都是:参考图、AnythingV5、realisticVisionV51。

如果你有兴趣,可以下载这些图片,然后在 Stable Diffusion WebUI 中查看图片生成参数,下载方法请查看文章最后部分。

赛博朋克

文生图,赛博朋克风格,Shuffle ControlNet。参考图中的光影效果深刻影响了生成的图片。

古风仕女

文生图,女子,Shuffle ControlNet。除了色彩很像,看这两个小眼神,好像也受到了参考图的很大影响。在真实模型生成的图片中还出现了参考图中的一些花花草草。

文生图,男子,Shuffle ControlNet。参考图是女子,也不影响生成男人。

水墨画

文生图,女孩,Shuffle ControlNet。

文生图,山水画,Shuffle ControlNet。

小说推文插画

文生图,女孩,Shuffle ControlNet。生成图片融合了一种很干净利索的感觉。

工笔画风

文生图,女孩,Shuffle ControlNet。这个五颜六色的组合还挺搭的,没有庸俗感。

蒙娜丽莎(图生图约束)

图生图,蒙娜丽莎,Shuffle ControlNet。

使用图生图,较小的重绘幅度,约束画面的结构,但是色彩、色调都会使用参考图的。

二次元(线稿约束)

文生图,女孩,Shuffle ControlNet + Lineart ControlNet。

这里使用了 Lineart ControlNet 来约束画面,使得整体画面结构不变,只改变色彩和细节。

Lineart的参考图片是下面这张:

下面这几张是添加 Shuffle 生成的图片:

总结

从出图示例我们可以看到,Shuffle 提供的画风融合能力主要在色彩、色调,以及参考图中部分元素和效果;生成图片的线条处理、人物的绘画手法还是主要由大模型来控制的。

资源下载

本文使用的模型、插件,生成的图片,都已经上传到了我整理的SD绘画资源中,后续也会持续更新,如有需要,请关/注/公/众/号:萤火遛AI(yinghuo6ai),发消息:SD,即可获取下载地址。

如果你还没有使用过Stable Diffusion WebUI,可以先看这几篇文章,了解下如何使用:

手把手教你在本机安装Stable Diffusion秋叶整合包

手把手教你在云服务器部署Stable Diffusion WebUI

SDXL 1.0出图效果直逼Midjourney!手把手教你快速体验!


以上就是本文的主要内容了,如有问题,欢迎给我留言沟通交流。

相关推荐
墨风如雪4 分钟前
不再只是建议:Augment Agent 想成为真正帮你干活的 AI 开发伙伴!
aigc
鲲志说4 小时前
本地化部署DeepSeek-R1蒸馏大模型:基于飞桨PaddleNLP 3.0的实战指南
人工智能·nlp·aigc·paddlepaddle·飞桨·paddle·deepseek
墨风如雪8 小时前
browser-use: 让你的代码像人一样“上网冲浪”——API驱动的浏览器自动化利器
aigc
阿坡RPA1 天前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
几米哥1 天前
从思考到行动:AutoGLM沉思如何让AI真正"动"起来
llm·aigc·chatglm (智谱)
你觉得2051 天前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
头顶秃成一缕光1 天前
若依——基于AI+若依框架的实战项目(实战篇(下))
java·前端·vue.js·elementui·aigc
weixin_435208161 天前
通过 Markdown 改进 RAG 文档处理
人工智能·python·算法·自然语言处理·面试·nlp·aigc
你觉得2051 天前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
360安全应急响应中心1 天前
基于 RAG 提升大模型安全运营效率
安全·aigc