本地部署完了Stable Diffusion,紧接着就要开始进入如何更好的使用它绘画的环节了。本篇讲解的是主模型的选择,主模型的选择直接决定了出图的风格和质量,新手一定要熟练掌握。
一、Stable Diffusion模型种类
讲解主模型如何选择之前先介绍一下Stable Diffusion会用到的模型种类。
1.主模型(Checkpoint模型)
Checkpoint模型是Stable Diffusion的主模型,包含了大量的场景素材,是生成图像的基础,Checkpoint模型决定了图像生成的主要风格。它的特点是体积较大,一般在2GB以上,后缀通常为.ckpt或.safetensors。
.ckpt:TensorFlow中用于保存模型参数的格式,通常与.meta文件一起使用,以便恢复训练过程。Checkpoint模型文件体积较大,包含完整的模型参数和优化器状态。
.safetensors:Huggingface推出的新的模型存储格式,专门为Stable Diffusion模型设计。这种格式的文件只保存模型的权重,而不包含优化器状态或其他信息,体积较小,加载速度更快,且安全性更高。
2.微调模型
LoRA模型:
LoRA(Low-Rank Adaptation of Large Language Models)模型是一种微调模型,用于对人物进行定制。体积较小,一般在几十到几百MB之间,训练效率高,能够灵活地对主模型进行风格、角色等方面的微调。使用时,它通常需要与主模型配合使用,通过添加触发词(tag)来启用。
Embedding模型(Textual Inversion):
Embedding模型是一种文本编码器模型,用于改变文字向量,可以将其理解为一组Prompt(也就是我们常说的提示词)。它的体积非常小,一般只有几KB,能够简化Prompt的编写,提高图片生成的效率和准确性。使用时,它通过嵌入技术将一系列输入提示词打包成一个向量,从而在生成图像时更准确地反映用户的意图。
Hypernetwork模型:
Hypernetwork模型是一种超网络模型,用于调整模型神经网络的权重,进行风格的微调。功能类似于LoRA模型,但训练难度较高,使用相对较少。使用时它通过插入一个小型的超网络来修改输出风格,而不改变原始模型的核心结构。
3.辅助模型
VAE模型:
VAE(Variational Autoencoder)模型是一种变分自编码器,主要用于美化图片的色彩。可以调整图片的亮度和饱和度,改善画面效果,很多主模型已经内置了VAE模型的功能。它在生成图片时作为外置模型使用,与主模型配合,对图片的色彩进行调整。
ControlNet模型:
ControlNet模型是一种强大的控制模型,用于对图像生成过程进行精细控制。可以实现画面控制、动作控制、色深控制、色彩控制等功能,提高图像生成的质量和灵活性。它需要安装相应的扩展才能使用,使用时可以通过添加特定的控制信号(如姿态、分割图等)来指导图像生成。
二、模型下载途径
1.国外网站(高质量)
2.国内网站
以上网站有非常丰富的各种类型的模型下载资源。
三、存放路径
1.主模型存放路径
models/Stable-diffusion
2.lora模型存放路径
models/Lora
3.hypernetworks模型存放路径
models/hypernetworks
4.embeddings模型存放路径
根目录的embeddings目录下
5.ControlNet模型存放路径
models/ControlNet
目录结构如下
stable-diffusion-webui/
├── models/
│ ├── Stable-diffusion/
│ │ ├── model1.safetensors
│ │ ├── model2.ckpt
│ │ └── ...
│ ├── Lora/
│ │ ├── lora1.safetensors
│ │ ├── lora2.pt
│ │ └── ...
│ ├── VAE/
│ │ ├── vae1.pt
│ │ ├── vae2.pt
│ │ └── ...
│ └── hypernetworks/
│ ├── hypernetwork1.pt
│ ├── hypernetwork2.pt
│ └── ...
│ └── ControlNet/
│ ├── ControlNet1.pt
│ ├── ControlNet2.pt
│ └── ...
├── embeddings/
│ ├── embedding1.pt
│ ├── embedding2.pkl
│ └── ...
└── ...
四、主模型类型
根据想画的图片的内容及风格不同,可以选择相应的大模型,这样出图片的质量效果会非常高。常见的类型及推荐参考如下:
1.基础模型
源自Stable Diffusion开源机构自身训练的模型。其它不同风格的模型都是在这些基础上外加训练的。
Stable Diffusion 1.4,在这之后的版本有1.5、2.0、2.1:2.0、SDXL 1.0、3.0、3.5。
2.写实风格
DreamShaper:专注于艺术风格,适合生成具有艺术感的图像。也能生成科幻类的图片。
Chilloutmix:大名鼎鼎的亚洲美女模型,曾在 C 站非常火爆,能生成逼真的亚洲女性形象,但由于存在一些争议,使用时需谨慎。
MajicMIX:国内名气较大的真人写实系模型,人物真实度高,光影表现出色,随便写关键词也能有不错的图片产出。
Realistic Vision v2.0:生成的图像极其逼真,有时难以分辨是 AI 制作还是照片。
Dreamlike Photoreal:能生成高度逼真的写实场景和人物,光影效果和细节处理非常出色。
9realisticSDXL:是 SDXL 系列中擅长写实的模型,对人物和场景的细节刻画很到位。
RAGEx:生成的写实图像具有较高的分辨率和真实感,尤其在人物皮肤、毛发等细节上表现突出。
Mysteria:可以生成具有神秘氛围的写实场景和人物,色彩和光影的搭配独特。
AWPortrait:优质的真人人物肖像模型,能生成逼真的真人肖像画。
LEOSAM HelloWorld 新世界 V7.0:写实风格的模型。
墨幽人造人XL:高质量的写实风格模型。
CyberRealistic:专门为生成真实照片而设计的模型。
Beautiful Realistic Asians:适合生成亚洲面孔特色的真人照片。
Perfect World:2.5D风格的基础模型,偏向欧美风。
Vision:非常受欢迎的真人风格基础模型,偏欧美风。
Deliberte:真人风格基础模型,偏欧美风。
EpiCRealism:适用于生成欧美脸孔的真人照片。
RealESRGAN:用于提高真实风格图像质量的模型。
3.二次元风格
Anything 系列:如 Anything-V3.5、Anything-V4.0、Anything-V4.5、Anything-V5.0 等,以二次元漫画风格为主打,版本众多,出图效果好,风格相对单一,对关键词要求不高。
AWPainting:细节丰富,颜色鲜艳,风格多变,画面表现有张力,适合多种绘画风格,可搭配 LORA 生图,也可作为底模生成自己的 LORA。
Flat-2DAnimerge:更偏向传统日漫风格,线条感十足,有以前日漫手绘风格的特点。
Waifu Diffusion:专注于生成二次元美少女形象,风格细腻,人物特征明显。
OrangeMix:色彩鲜艳,能生成多种风格的二次元图像,包括可爱风、酷炫风等。
Pony Diffusion:以生成可爱的小马宝莉等类似风格的二次元图像为主,画面充满童趣。
AnimeFullControl:对二次元人物的姿态、表情等细节控制能力较强,可生成各种动态的二次元场景。
ToonMe:能将照片转换为二次元卡通风格,有多种预设风格可供选择,生成效果自然。
MeinaMix:稳定的二次元类型模型。
Cetus-Mix:有多个版本,适合生成高质量的二次元图像。
4.国风风格
GuoFeng3:主要用于生成具有中国华丽古风风格的图像,在古风游戏角色和场景生成方面具有优势。
RongHua:专注于生成具有中国特色的服装、道具和化妆元素,在国风创作领域具有较高的评价。
Hanfu Diffusion:以生成汉服相关的国风图像为主,对汉服的细节和款式还原度高。
Huaxia Art:融合了中国传统绘画、书法等艺术元素,能生成具有浓厚中国文化底蕴的图像。
JiangHu Style:可生成武侠风格的国风图像,展现出江湖的侠义与豪迈。
Three Delicacy Wonton:优质的水墨风格大模型,适合山水人物画的创作。
5.油画风格
OilPaintingMix:专门用于生成油画风格的图像,笔触效果和色彩质感都很逼真。
ArtBreeder:可以通过调整参数生成不同风格的油画作品,包括古典油画、现代油画等。
Van Gogh Style:以梵高的绘画风格为基础,能生成具有梵高特色的油画风格图像,如星空、向日葵等主题。
Leonardo Diffusion:能模仿达芬奇等大师的油画风格,画面细腻,具有很高的艺术价值。
Impressionist Diffusion:擅长生成印象派风格的油画,色彩鲜艳,光影效果独特。
Deliberate:目前最新版本是 deliberate_v2,是万能模型,能画任何想要的东西,风格偏油画和数绘风格,需要详细填写提示词。
XXMix_9realistic:精美的2.5D人物模型,画面带有油画感觉。
6.科幻风格
Cyberpunk Diffusion:主打赛博朋克风格,充满科技感和未来感,色彩以冷色调为主。
Sci-Fi World:可生成各种科幻场景和生物,如宇宙飞船、外星生物等,想象力丰富。
Sci-Fi Diffusion:生成科幻类场景的模型,效果逼真。
Neon Future:以霓虹灯、电子元素等为特色,营造出充满未来感的科幻氛围。
Quantum Space:专注于生成量子、宇宙等微观和宏观的科幻场景,画面具有神秘感。
Mecha Universe:擅长生成机甲、机器人等科幻元素,对机械结构的细节刻画很到位。
Protogen:结合多种风格,适合生成科幻和未来感图像。
NeverEnding Dream:具有独特梦幻风格的模型。
Cheese Daddy's Landscapes mix:主打幻想类的风景效果,适合插画和游戏场景设计。
7.卡通风格
Disney Diffusion:能生成类似迪士尼风格的卡通图像,人物形象可爱,色彩鲜艳。
Cartoonify:可以将各种图像转换为卡通风格,有多种卡通风格模板可供选择。
Simpsons Style:模仿《辛普森一家》的卡通风格,生成具有独特风格的卡通图像。
South Park Style:以《南方公园》的风格为基础,生成简洁、夸张的卡通图像。
Hello Kitty Diffusion:专门用于生成 Hello Kitty 等三丽鸥风格的可爱卡通图像。
Toonify:将图像转换为卡通风格的模型。
ToonYou - Beta 6:时尚卡通大模型,带有可爱风格。
8.动漫风格
ReV Animated:适用于动漫人物或场景的2.5D或3D绘制模型。
EimisAnimeDiffusion:专注于高质量动漫风格图像生成。适合动漫、插画创作。
AnimeGANv2:基于生成对抗网络的动漫风格模型。
Waifu Diffusion:专门用于生成动漫风格图像的模型。
Flat-2D Animerge:动漫风格的大模型,适合多种创作场景。
Dark Sushi Mix:具有独特风格的动漫模型。
SeekYou:具有独特画风的动漫模型。
Manmaru mix:具有独特画风的动漫模型。
hellokid2d:适合绘制可爱风格的动漫形象。
SunshineMix:明亮的动漫风格模型。
YesMix:具有独特风格的动漫模型。
9.建筑设计
dvArch - Multi-Prompt Architecture Tuned Model:主打建筑设计的模型,生成的作品接近专业软件的设计图。
Juggernaut XL:SDXL大模型,可用于生成真实的人物图、风景图、建筑图、物件图。
XSarchitectural-InteriorDesign-ForXSLora:室内设计模型,建议配合LoRA使用。
architectural design sketches with markers:建筑设计草图模型。
10.其他风格
Abstract Diffusion:用于生成抽象艺术风格的图像,色彩和形状的组合富有创意。
Minimalist Diffusion:以简约风格为主,注重线条和色彩的简洁表达。
Surreal Diffusion:能生成超现实风格的图像,打破现实逻辑,充满奇幻和想象。
Steampunk Diffusion:结合了蒸汽朋克元素,如齿轮、蒸汽管道等,营造出独特的复古未来感。
Fantasy Forest:擅长生成奇幻森林等自然场景,充满魔法和神秘气息。
Product Design (Minimalism - Eddiemauro):适合产品设计,在生成产品相关图像时能体现出简洁、精致的特点。
Cheesedaddy's Landscapesmix:擅长生成美轮美奂的风景场景,如同仙境一般。
五、其它建议
1.模型比较多的情况下,把已下载的模型分类存放,要么建不同的目录来区隔,要么在文件名开始加前缀,这样在找某个模型的时候可以快速定位。
2.每个模型下载时同时下载一个关键代表作的图片,这样在想不起模型类型风格时,简单看图片即可区分出来。比如下图所示:
