Stable Diffusion WebUI 使用 VAE 增加滤镜效果

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里,订阅后可阅读专栏内所有文章。

大家好,我是水滴~~

本文主要介绍 VAE 模型,主要内容有:VAE 模型的概念、如果下载 VAE 模型、如何安装 VAE 模型、如何使用 VAE 模型,以及 WebUI 中 VAE 模型不显示的解决方案!

文章内容包含大量的图例,希望能够帮助新手同学快速入门。

一、什么是 VAE 模型

VAE(variational autoencoder)表示变分自动编码器,它是神经网络模型的一部分,可在较小的潜在空间之间对图像进行编码和解码,从而使计算速度更快。
通俗点说,可以把 VAE 理解为一种滤镜,它能让图片的色彩更加饱满,告别灰蒙蒙的感觉;同时,它还能对图片的细节进行微调,改善面部和眼部,让整体效果更加出色。
在 Stable Diffusion 中,绝大部分大模型已经内置了默认的 VAE,无需再外挂 VAE 了。如果大模型需要使用 VAE 时,通常会在介绍页里给出说明,指导我们使用哪个 VAE 模型。

二、VAE 模型有哪些?怎么下载

Stability AI 官方发布了两种 VAE 模型,分别是 EMA(Exponential Moving Average) 和 MSE(Mean Square Error)。

官方也发布了这两个 VAE 模型的对比,可以看出,EMA 产生的图像更清晰,而 MSE 产生的图像更平滑。

下面是这两个 VAE 模型的下载地址:

另外,在C站上也有很 AI 爱好者发布了不错的 VAE,它们实现了不同的效果,供我们选择:

三、安装 VAE 模型

下载的 VAE 模型放到 stable-diffusion-webui\models\VAE目录中:

然后【刷新】 VAE 模型列表,就能够选择刚才下载的模型了:

四、WebUI 中不显示 VAE 模型

在 Stable Diffusion WebUI 界面中,"VAE 模型"选项默认是不显示,我们需要配置一下才能显示出来:

首选,点击【设置】选项卡:

往下拉,点击左侧【用户界面】选项卡:

然后,在右侧找到【快捷设置列表】,这里只有一个sd_model_checkpoint选项:

在这里输入"sd_vae"会自动搜索,然后选择【sd_vae】选项:

选中【sd_vae】后是这个样子:

最后保存并重启,拉到最上边,依次点击【保存设置】-->【重启WebUI】:

重启完成后,这里就显示 VAE 模型了:

五、如何使用 VAE 模型

我们通常先使用文生图生成我们想要的图片,找到满意的图片(此时无需选择 VAE 模型):

然后,固定其随机种子,选择大模型推荐的 VAE 模型,再重新生成:

结果对比,使用 VAE 之后画面更加明亮了:

我们在选择 VAE 时,一定要选择大模型所推荐的,不然其效果可能还不如原图:

相关推荐
南 阳10 分钟前
Python从入门到精通day16
开发语言·python·算法
MasonYyp17 分钟前
Agno中使用MCP
python
aiguangyuan18 分钟前
从零实现循环神经网络:中文情感分析的完整实践指南
人工智能·python·nlp
喵手34 分钟前
Python爬虫零基础入门【第九章:实战项目教学·第1节】通用新闻采集器:从零打造可复用的静态站模板!
爬虫·python·爬虫实战·python爬虫工程化实战·零基础python爬虫教学·新闻采集器·静态站模版
摸鱼仙人~44 分钟前
从 Gunicorn 到 FastAPI:Python Web 生产环境架构演进与实战指南
python·fastapi·gunicorn
毕设源码-朱学姐1 小时前
【开题答辩全过程】以 基于Django框架中山社区社会补助系统为例,包含答辩的问题和答案
后端·python·django
醉舞经阁半卷书11 小时前
Matplotlib从入门到精通
python·数据分析·matplotlib
历程里程碑1 小时前
Linux 5 目录权限与粘滞位详解
linux·运维·服务器·数据结构·python·算法·tornado
程序员哈基耄1 小时前
安全高效,本地运行:全能文件格式转换工具
大数据·python·安全
lixin5565562 小时前
基于神经网络的音乐生成增强器
java·人工智能·pytorch·python·深度学习·语言模型