Stable Diffusion 绘画入门教程(webui)-ControlNet

ControlNet可以说在SD里有着举足轻重的地位,如果没有ControlNet,sd的可玩性和实用性将大大降低。

前面几篇文章介绍了 提示词lora,本篇文章介绍sd里最关键的第三个要素--ControlNet

文章目录

一、它具体能干啥

1、艺术字

这里列一个隐藏型艺术字,如下图(隐藏了博客两个字),当然还有其他风格得。

2、改变姿态

下面是让小猫咪跑起来

3、其他

其他诸如老照片上色、线稿上色、控制人物姿势、二次元头像等等都可以用它来实现;

很多玩法不一一列举,后面会一一出教程,这里先把注意力拉回到重点理解ControlNet的用法

二、怎么用

首先得有ControlNet这个插件,它是一个插件,需要单独下载,如果大家通过我之前的文章中的整合包下载得,这个已经集成了,不用再单独下载安装。

整体使用流程如下:

1、选大模型

2、写提示词

3、基础参数设置

4、启用controlNet(上传图片、选择controlNet模型、调节controlNet参数)

下面分项教程以上面的小猫案例为例子:

1、选大模型

我以上面动物这个为例,如果参考的图片是真实风格,就选个真实风格就好啦

上面那个我用的"revAnimated_v122.safetensors"

2、写提示词

参考的图片用文字描述大概是"一只猫在快乐地趴在在雪地里",当然也可以用标签器反推(参考图生图的文章),如果想让他跑起来,则可以改一下提示词"一只猫在快乐地奔跑 在雪地里"就可以啦,再加上一些画质词

3、基础参数设置

主要是之前基础教程中的这几个参数,这里尽量把宽高设定和参考图一样,这样参考生成出来的会更像

4、启用ControlNet(上传图片、选择controlNet模型、调节controlNet参数)

点击下方的ControlNet箭头即可展开它的功能项了

展开后就勾选启用 ,一般会勾选完美像素模式 ,开启完美像素模式之后,无需手动设置预处理器分辨率。它将自动为您计算最佳预处理器分辨率,实现与 Stable Diffusion 的完美匹配,总之勾上就行。
控制类型选择参考

选择参考后,下方的预处理器会自动选中,不用处理,控制权重就是要参考图片的权重,值越大出来的图越像参考图

之后点击生成就可以了

三、控制类型

controlNet的控制类型有十几种,每种都至少有一个玩法,上面的隐藏文字就是用的全部或depth都能实现,每种控制类型后边文章会一一介绍,大家可以先自行摸索。

注意,其他控制类型除了预处理器,还会带模型,没有模型是实现不了功能的,这里把十几种的模型都打包好了(20多个哦),文章顶部直接下载就可以啦。

四、与lora的区别

Lora负责把自己有关联的人或物等主题炼制成模型,ControlNet负责更好地"控制"这个"模型

只有两者结合,才能把脑海中的画面生成的更加符合,无论是定制自己的真人模特,还是给某个产品做模型,都可以实现。

lora和ControlNet两者对学好SD都十分重要,缺一不可。

相关推荐
空白诗2 天前
CANN ops-nn 算子解读:Stable Diffusion 图像生成中的 Conv2D 卷积实现
深度学习·计算机视觉·stable diffusion
学易2 天前
第十五节.别人的工作流,如何使用和调试(上)?(2类必现报错/缺失节点/缺失模型/思路/实操/通用调试步骤)
人工智能·ai作画·stable diffusion·报错·comfyui·缺失节点
心疼你的一切2 天前
基于CANN仓库算力手把手实现Stable Diffusion图像生成(附完整代码+流程图)
数据仓库·深度学习·stable diffusion·aigc·流程图·cann
Niuguangshuo3 天前
DALL-E 3:如何通过重构“文本描述“革新图像生成
人工智能·深度学习·计算机视觉·stable diffusion·重构·transformer
Niuguangshuo4 天前
深入解析 Stable Diffusion XL(SDXL):改进潜在扩散模型,高分辨率合成突破
stable diffusion
Niuguangshuo4 天前
深入解析Stable Diffusion基石——潜在扩散模型(LDMs)
人工智能·计算机视觉·stable diffusion
迈火4 天前
SD - Latent - Interposer:解锁Stable Diffusion潜在空间的创意工具
人工智能·gpt·计算机视觉·stable diffusion·aigc·语音识别·midjourney
迈火11 天前
Facerestore CF (Code Former):ComfyUI人脸修复的卓越解决方案
人工智能·gpt·计算机视觉·stable diffusion·aigc·语音识别·midjourney
重启编程之路12 天前
Stable Diffusion 参数记录
stable diffusion
孤狼warrior15 天前
图像生成 Stable Diffusion模型架构介绍及使用代码 附数据集批量获取
人工智能·python·深度学习·stable diffusion·cnn·transformer·stablediffusion