Stable Diffusion教程:LoRA模型

LoRA模型是一种微调模型,它不能独立生成图片,常常用作大模型的补充,用来生成某种特定主体或者风格的图片。

下载模型

在模型下载网站,如果模型是LoRA模型,网站会特别标识出来。以 liblib.ai为例:

模型左上角会有一个模型类型的标记,CHECKPOINT代表大模型,LORA代表这是一个LoRA模型。

点击进入模型详情之后,我们可以看到它的一些介绍,以及下载按钮。注意看下图我标出来的这几个地方:

1、下载按钮:点击即可下载,可能需要先登陆。LoRA模型文件一般不大,几十M到几百M不等。

2、基础算法:LoRA模型适配的大模型版本,常见的就是 1.5 和 XL。如果是 1.5,那么搭配的大模型也需要是 1.5 的模型,而不能是 XL 的模型。大模型的算法版本我们也可以在模型的详情页面上找到。

3、触发词:在提示词中包含这些词可以在生成图片中强调LoRA模型提供的独特主体或风格,这些触发词有时候不是必须的,但是建议写到提示词中,以稳定出图效果。

4、模型发布者提供的一些LoRA模型的使用说明。

5、模型发布者提供的使用当前LoRA模型生图的参数,包括提示词、采样器、采样步数、随机种子等等,使用完全一致的生图参数可以生成完全一样的图片。

在页面的下方还有其它爱好者使用这个模型的一些返图,以及图片对应的生成参数,你可以直接拿来主义。

使用模型

安装模型

我们需要把下载的模型放到 Stable Diffusion WebUI 的 LoRA 模型的文件夹下边。

<stable-diffusion-webui>/models/Lora

注意替换 为你的 SD WebUI 安装目录,然后重启 Stable Diffusion WebUI。

如果部署成功,我们可以在"文生图"或者"图生图"页面的"低秩微调模型(LoRA)"中看到刚刚上传的模型。

使用模型

使用模型就是在提示词中引用模型,格式是:

lora:模型的名字:模型的权重

模型的名字和模型的文件名不一定相同,我们可以在"低秩微调模型(LoRA)"中点击这个模型,WebUI就会自动在提示词中增加对这个模型的引用。

模型的权重越高生成图片时越贴近模型提供的主体或者风格,权重的取值范围是:0-1。

以下是不同权重时的效果展示:

生成图片时可以同时使用多个LoRA模型,最终效果会综合多个模型的风格。

训练LoRA模型

LoRA模型训练成本不高,往往只需要几十张图片就能训练出比较好的效果,广泛用于在生成图片时强化特定事物,比如某个高级脸、某种穿搭风格、某种绘画风格等等,经常用来做模特换衣、插画生产等,比较方便普通用户试玩。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

相关推荐
用户6915811416539 分钟前
Ascend Extension for PyTorch的源码解析
人工智能
用户691581141651 小时前
Ascend C的编程模型
人工智能
成富2 小时前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
CSDN云计算2 小时前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
艾派森2 小时前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘
hairenjing11232 小时前
在 Android 手机上从SD 卡恢复数据的 6 个有效应用程序
android·人工智能·windows·macos·智能手机
小蜗子2 小时前
Multi‐modal knowledge graph inference via media convergenceand logic rule
人工智能·知识图谱
SpikeKing2 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
黄焖鸡能干四碗3 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
3 小时前
开源竞争-数据驱动成长-11/05-大专生的思考
人工智能·笔记·学习·算法·机器学习