Stable Diffusion教程:LoRA模型

LoRA模型是一种微调模型,它不能独立生成图片,常常用作大模型的补充,用来生成某种特定主体或者风格的图片。

下载模型

在模型下载网站,如果模型是LoRA模型,网站会特别标识出来。以 liblib.ai为例:

模型左上角会有一个模型类型的标记,CHECKPOINT代表大模型,LORA代表这是一个LoRA模型。

点击进入模型详情之后,我们可以看到它的一些介绍,以及下载按钮。注意看下图我标出来的这几个地方:

1、下载按钮:点击即可下载,可能需要先登陆。LoRA模型文件一般不大,几十M到几百M不等。

2、基础算法:LoRA模型适配的大模型版本,常见的就是 1.5 和 XL。如果是 1.5,那么搭配的大模型也需要是 1.5 的模型,而不能是 XL 的模型。大模型的算法版本我们也可以在模型的详情页面上找到。

3、触发词:在提示词中包含这些词可以在生成图片中强调LoRA模型提供的独特主体或风格,这些触发词有时候不是必须的,但是建议写到提示词中,以稳定出图效果。

4、模型发布者提供的一些LoRA模型的使用说明。

5、模型发布者提供的使用当前LoRA模型生图的参数,包括提示词、采样器、采样步数、随机种子等等,使用完全一致的生图参数可以生成完全一样的图片。

在页面的下方还有其它爱好者使用这个模型的一些返图,以及图片对应的生成参数,你可以直接拿来主义。

使用模型

安装模型

我们需要把下载的模型放到 Stable Diffusion WebUI 的 LoRA 模型的文件夹下边。

复制代码
<stable-diffusion-webui>/models/Lora

注意替换 为你的 SD WebUI 安装目录,然后重启 Stable Diffusion WebUI。

如果部署成功,我们可以在"文生图"或者"图生图"页面的"低秩微调模型(LoRA)"中看到刚刚上传的模型。

使用模型

使用模型就是在提示词中引用模型,格式是:

lora:模型的名字:模型的权重

模型的名字和模型的文件名不一定相同,我们可以在"低秩微调模型(LoRA)"中点击这个模型,WebUI就会自动在提示词中增加对这个模型的引用。

模型的权重越高生成图片时越贴近模型提供的主体或者风格,权重的取值范围是:0-1。

以下是不同权重时的效果展示:

生成图片时可以同时使用多个LoRA模型,最终效果会综合多个模型的风格。

训练LoRA模型

LoRA模型训练成本不高,往往只需要几十张图片就能训练出比较好的效果,广泛用于在生成图片时强化特定事物,比如某个高级脸、某种穿搭风格、某种绘画风格等等,经常用来做模特换衣、插画生产等,比较方便普通用户试玩。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

​

相关推荐
lzhdim1 小时前
AI的分类
人工智能·算法·机器学习·分类·数据挖掘
程序员海军3 小时前
用了两年多 GPT,我最近开始换模型了,还折腾了个求职避坑 Agent
前端·人工智能·后端
AIsoft_86893 小时前
人才评估中的关键信息如何沉淀?
人工智能·iphone
紧跟先前的步伐3 小时前
Go AI Agent 实战 06|JSON 结构化输出与 Go 后端校验
人工智能·ai·golang
vibecoding775 小时前
Codex 分层用模型完整教程:让 GPT-6.1 Sol 拍板、GPT-6 Luna 跑侦察
人工智能·gpt
新知图书5 小时前
1.3 启动第一个机器人
人工智能·机器人
明志数科5 小时前
自主探索范式下机器人示教数据的工程定位:少量示范为何对质量更敏感
人工智能·机器学习·机器人
Maynor9966 小时前
WorkBuddy 一键接通 gpt-6.1-sol:MomoAI / TryAllAPI 把最新模型接到桌面
人工智能·gpt·ai·大模型·编程工具
火山引擎开发者社区6 小时前
问得出、搜得准、信得过:ContextSearch 重构销售检索体验
人工智能
Raymond16886 小时前
AI配音工具长文本合成架构技术解析:全局音色锚定与声学状态跟踪
人工智能·架构·实时互动·视觉检测·音视频·语音识别