Stable Diffusion 系列教程 - 3 模型下载和LORA模型的小白入门

首先,一个比较广泛的模型下载地址为:Civitai Models | Discover Free Stable Diffusion Models

黄框是一些过滤器,比如checkpoints可以理解为比如把1.5版本的SD模型拷贝一份后交叉识别新的画风或场景后得到的模型,可以单独拿出来使用。 Hypernetwork和lora在特定场景下都非常好用。我们以majicMIX realistic 麦橘写实模型为例子,点开:

点开一张照片,我们能看到生成这张照片的提示词和负提示词以及cfg scale,甚至往下拉还有推荐的优质参数和评论区。下载好模型后,将其放到stablediffusion-webui ---> models ---> Stable-diffusion 目录下。随后在webUI中点击大模型的下拉框,即可切换(需要等待一定时间)。

实际使用中,我们发现生成的和网页给我们的感觉差距是非常大的,其中有很重要的一点是没有阅读模型的说明书。 其在模型页面下方,


LoRA训练

环境:秋叶大佬的安装包 LoRA WebUI 提取码:p8uy。

数据集:图片和标签。如何做:

  • 打开Web UI。点击训练,再点击图像预处理:复制存放图像的文件夹到源目录,复制标签和预处理后的图像需要存放的文件夹到目标目录。宽度高度根据自己的需要去设置,这代表着预处理后的图像大小。
  • 勾选使用deepbooru生成说明文字tag。点击预处理,自动处理完成后即可得到标签文件。
  • 对标签进行修改。由于标签是****deepbooru图生文模型生成的,不一定那么准确。因此需要去对生成的标签做处理。这里先不讲如何打Tag,直接进行下一步。
  • 进入秋叶大佬的炼丹器,点击LORA训练-新手(本节只过新手场)。添加底模路径(再SD的模型文件夹中添加一个大模型即可。)
  • 添加训练数据集路径: 最好将你的数据集放到lora-scripts-v1.7.3\train\下。在这个目录中创建一个文件夹为你数据集名称,随后再创建一个文件夹为 数字_数据集名称。如上图所示。20代表每一个epoch中单张图片的训练次数,比如epoch=10,则一张图像的实际训练次数是10×20=200次。在train_data_dir中只填前一级目录
  • 其他参数尽量先不调,直接开始训练。
  • 复制lora模型:将Output文件夹中的lora模型文件拷贝到SD WebUI的models/Lora文件夹中。没有数字的代表最终结果,有数字的代表不同阶段的结果。
  • 加载lora模型:在文生图这一页点击"启用"LoRA。随后选择刚才复制过来的LoRA模型。就可以生成啦。(权重建议调到0.8)

注:,我们直接对txt中的tag处理是非常不方便的,因此就需要:题词管理工具(毛子开发) 。链接我放到下方:链接:https://pan.baidu.com/s/1dAhvm-DBI9o62aWd1T1Csw 提取码:zub1

打开exe, 左上角File打开训练集目录,就可以看到当前图片和当前图片的标签。最右侧为所有图片的Tag。我们可以通过中间栏调整单个图片的Tag,也可以通过右边这一栏添加或删除所有图片中相同的Tag。双击图像可以查看细节。,修改完全部后再次点击左上角的Save。

此外,还能有翻译功能,在左上角File的setting中:

点击下方,即可进行自动翻译:

相关推荐
空白诗2 天前
CANN ops-nn 算子解读:Stable Diffusion 图像生成中的 Conv2D 卷积实现
深度学习·计算机视觉·stable diffusion
学易2 天前
第十五节.别人的工作流,如何使用和调试(上)?(2类必现报错/缺失节点/缺失模型/思路/实操/通用调试步骤)
人工智能·ai作画·stable diffusion·报错·comfyui·缺失节点
心疼你的一切2 天前
基于CANN仓库算力手把手实现Stable Diffusion图像生成(附完整代码+流程图)
数据仓库·深度学习·stable diffusion·aigc·流程图·cann
Niuguangshuo3 天前
DALL-E 3:如何通过重构“文本描述“革新图像生成
人工智能·深度学习·计算机视觉·stable diffusion·重构·transformer
Niuguangshuo4 天前
深入解析 Stable Diffusion XL(SDXL):改进潜在扩散模型,高分辨率合成突破
stable diffusion
Niuguangshuo4 天前
深入解析Stable Diffusion基石——潜在扩散模型(LDMs)
人工智能·计算机视觉·stable diffusion
迈火4 天前
SD - Latent - Interposer:解锁Stable Diffusion潜在空间的创意工具
人工智能·gpt·计算机视觉·stable diffusion·aigc·语音识别·midjourney
迈火11 天前
Facerestore CF (Code Former):ComfyUI人脸修复的卓越解决方案
人工智能·gpt·计算机视觉·stable diffusion·aigc·语音识别·midjourney
重启编程之路12 天前
Stable Diffusion 参数记录
stable diffusion
孤狼warrior15 天前
图像生成 Stable Diffusion模型架构介绍及使用代码 附数据集批量获取
人工智能·python·深度学习·stable diffusion·cnn·transformer·stablediffusion