Stable Diffusion教程:LoRA模型

LoRA模型是一种微调模型,它不能独立生成图片,常常用作大模型的补充,用来生成某种特定主体或者风格的图片。

下载模型

在模型下载网站,如果模型是LoRA模型,网站会特别标识出来。以 liblib.ai 为例:

模型左上角会有一个模型类型的标记,CHECKPOINT代表大模型,LORA代表这是一个LoRA模型。

点击进入模型详情之后,我们可以看到它的一些介绍,以及下载按钮。注意看下图我标出来的这几个地方:

1、下载按钮:点击即可下载,可能需要先登陆。LoRA模型文件一般不大,几十M到几百M不等。

2、基础算法:LoRA模型适配的大模型版本,常见的就是 1.5 和 XL。如果是 1.5,那么搭配的大模型也需要是 1.5 的模型,而不能是 XL 的模型。大模型的算法版本我们也可以在模型的详情页面上找到。

3、触发词:在提示词中包含这些词可以在生成图片中强调LoRA模型提供的独特主体或风格,这些触发词有时候不是必须的,但是建议写到提示词中,以稳定出图效果。

4、模型发布者提供的一些LoRA模型的使用说明。

5、模型发布者提供的使用当前LoRA模型生图的参数,包括提示词、采样器、采样步数、随机种子等等,使用完全一致的生图参数可以生成完全一样的图片。

在页面的下方还有其它爱好者使用这个模型的一些返图,以及图片对应的生成参数,你可以直接拿来主义。

使用模型

安装模型

我们需要把下载的模型放到 Stable Diffusion WebUI 的 LoRA 模型的文件夹下边。

javascript 复制代码
<stable-diffusion-webui>/models/Lora

注意替换 为你的 SD WebUI 安装目录,然后重启 Stable Diffusion WebUI。

如果部署成功,我们可以在"文生图"或者"图生图"页面的"低秩微调模型(LoRA)"中看到刚刚上传的模型。

使用模型

使用模型就是在提示词中引用模型,格式是:

lora:模型的名字:模型的权重

模型的名字和模型的文件名不一定相同,我们可以在"低秩微调模型(LoRA)"中点击这个模型,WebUI就会自动在提示词中增加对这个模型的引用。

模型的权重越高生成图片时越贴近模型提供的主体或者风格,权重的取值范围是:0-1。

以下是不同权重时的效果展示:

生成图片时可以同时使用多个LoRA模型,最终效果会综合多个模型的风格。

训练LoRA模型

LoRA模型训练成本不高,往往只需要几十张图片就能训练出比较好的效果,广泛用于在生成图片时强化特定事物,比如某个高级脸、某种穿搭风格、某种绘画风格等等,经常用来做模特换衣、插画生产等,比较方便普通用户试玩。

有兴趣的可以看我另一篇文章:手把手教你在云环境炼丹:Stable Diffusion Lora 模型保姆级炼制教程

资源下载

如果你对 Stable Diffusion 感兴趣,我整理了很多 SD 相关的模型、插件,都已经上传到我整理的 Stable Diffusion 绘画资源中,后续也会持续更新,如有需要,请关/注/公/众/号:萤火遛AI(yinghuo6ai),发消息:SD,即可获取下载地址。


以上就是本文的主要内容了,如有问题,欢迎留言沟通交流。

相关推荐
刀法如飞1 天前
MicroWind:AI编程核心知识库,程序员转型必备
人工智能·aigc·ai编程
日光明媚1 天前
FFmpeg 视频生成推理 Pipeline:Python 版常用函数封装(可直接集成)
python·深度学习·ai作画·aigc·音视频
树獭叔叔1 天前
OpenCLI:让任何网站成为你的命令行工具
后端·aigc·openai
日光明媚1 天前
SoulX-FlashTalk 技术报告解读:从“严格因果”到“双向流式蒸馏”,实时数字人为什么能做到 0.87s 延迟、32FPS 和长时稳定?
人工智能·python·深度学习·ai作画·aigc·音视频
fanstuck1 天前
当 openClaw 遇上 EdgeOne Pages:不只智能问数,更能直接获取BI 数据大屏(附工程落地实战)
人工智能·ai·aigc·openclaw
hqyjzsb1 天前
传统教师升级AI教育产品设计师后收入增长路径
人工智能·职场和发展·aigc·文心一言·学习方法·业界资讯·ai写作
六月的可乐1 天前
AI Agent 架构设计与实践:React、Plan-Exec、Reflect 与混合模式(附开源代码)
前端·javascript·aigc
墨风如雪1 天前
Claudian 安装教程:把 Claude Code 接进 Obsidian,从 0 到侧边栏对话
aigc
爱写代码的小朋友2 天前
生成式人工智能(AIGC)在开放式教育问答系统中的知识表征与推理机制研究
人工智能·aigc
GISer_Jing2 天前
AI资源白嫖——Trae国际版一周年福利,免费用一个月600次快速请求
人工智能·prompt·aigc