【Stable Diffusion】

1、SD 模型

安装完SD软件后,必须搭配基础模型才能使用。

不同的基础模型,其画风和擅长的领域会有侧重。

  • Checkpoint大模型

大模型是 SD 的核心,用来控制生成图片的整个画面风格走势。

出图前要选择好合适的大模型,比如有些擅长写实照片,有些擅长游戏原画,有些擅长室内设计等等

模型存放路径【\stable diffusion\models\stable-diffusion】

文件后缀一般为.ckpt和.sefetensors

模型大小为2G-8G不等

  • Lora模型

用于复刻人物、物品的特征、训练画风,需搭配主模型使用

部分Lora会需要触发词来使用,否则效果不明显

模型存放路径【\stable diffusion\Lora】

文件后缀一般为.safetensors

模型大小为几十mb至两三百mb

  • VAE模型

相当于给画面加一个滤镜,需搭配主模型使用。

简单来说就是修正出图的颜色,如果不使用VAE进行出图的话,生成的图像颜色会偏灰,除非使用的大模型已经内置了VAE

模型存放路径【\stable diffusion\models\VAE】

文件后缀一般为.ckpt和.pt

有的大模型是会自节VAE的,如果再加VAE则可能画面效果会适得其反

  • Embeddings模型

可理解为提词打包模型,它可以生成指定角色的特征、风格或者画风,需搭配主模型使用

模型存放路径【\stable diffusion\embeddings 】

文件后缀一般为.pt

由于embeddings模型本质是提词打包,所以这类虽然节省模型的体积通常很小(通常几kb)空间资源,但由于体积小所携带的信息少,所以现在使用这种模型的也越来越少了

相关推荐
写代码的小阿帆9 小时前
Fractal Generative Models论文阅读笔记与代码分析
论文阅读·stable diffusion·transformer
春末的南方城市1 天前
港科大&快手提出统一上下文视频编辑 UNIC,各种视频编辑任务一网打尽,还可进行多项任务组合!
人工智能·计算机视觉·stable diffusion·aigc·transformer
多恩Stone5 天前
【Stable Diffusion 1.5 】在 Unet 中每个 Cross Attention 块中的张量变化过程
stable diffusion
今夕节度使5 天前
ARM架构推理Stable Diffusiond
stable diffusion
远瞻。9 天前
【论文精读】2024 ECCV--MGLD-VSR现实世界视频超分辨率(RealWorld VSR)
人工智能·算法·stable diffusion·音视频·超分辨率重建
远瞻。10 天前
【论文精读】2024 CVPR--Upscale-A-Video现实世界视频超分辨率(RealWorld VSR)
论文阅读·人工智能·算法·stable diffusion·音视频·超分辨率重建
乱世刀疤10 天前
AI绘画:手把手带你Stable Diffusion从入门到精通(系列教程)
人工智能·ai作画·stable diffusion
layneyao12 天前
从0到1搭建AI绘画模型:Stable Diffusion微调全流程避坑指南
ai作画·stable diffusion
远瞻。12 天前
【论文精读】2024 arXiv --VEnhancer现实世界视频超分辨率(RealWorld VSR)
论文阅读·stable diffusion·音视频·超分辨率重建
立秋678915 天前
深入理解Diffusers: 从基础到Stable Diffusion
stable diffusion