AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)

大家好,我是风雨无阻。

本期内容:

  • Lora的原理是什么?
  • Lora如何下载安装?
  • Lora如何使用?

大家还记得 AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解 这篇文章中,曾简单介绍了Lora的安装和使用吗 ?

但是我们并不清楚LORA 的原理是什么?以及使用过程中有什么技巧 ?

其实LORA 与 embedding 、Hypernetwork 在本质上类似,不过因为携带着大量的训练数据,所以 LORA 对人物和细节特征的复刻更加细腻(效果最好)、使用频率也是最高的。

因此我们在这里将重点介绍 LORA 模型相关的知识:包含LORA模型的原理、安装、使用、Lora模型的类型。

由于篇幅原因,这里将分为上、下两节进行详细讲解。

一、LORA 的原理

1、Lora是什么 ?

LORA,英文全称Low-Rank Adaptation of LargeLanguage Models,直译为大语言模型的低阶适应。这是微软的研究人员为了解决大语言模型微调而开发的一项技术。

LORA是一种在消耗更少内存的情况下,加速大型模型训练的训练方法,在stable diffusion中它允许使用低阶适应技术来快速微调扩散模型。简而言之,LoRA训练模型可以更轻松地针对不同概念(例如角色或特定风格)进行模型训练。这些经过训练的模型可以被导出并供其他人使用。

LORA模型是小型的stable diffusion模型,对checkpoint模型 cross-attention layers(交叉注意力层)进行了较小的更改,但是它的体积只有checkpoint的1/100到1/10,文件大小一般在2-500MB之间。

从上图我们可以看到 LORA 对模型产生作用的环节是在 Noise predictor

下图是对上图放大以后的内部结构,LORA 是对 crossattention 进行更改。

在上一篇文章中,我们已经对比了三者的区别,感兴趣的朋友,请前往查看AI 绘画Stable Diffusion 研究(十六)SD Hypernetwork详解

二、LORA 的下载安装

1、打开c站筛选LORA模型

点击右侧 ->漏斗图标 ,下拉菜单中选择 LORA

2、选择搜索结果中,喜欢的lora 模型进行下载

这里以 原神lora 模型为例进行演示:

下载完成后,会得到 Eula.safetensors 文件

3、 安装 lora 模型

将下载后的Eula.safetensors 文件,拷贝到 Lora 目录:

复制代码
\sd-webui-aki-v4.2\models\Lora

4、 下载安装lora 模型对应的 chekpoint 模型

在右侧可以看到 lora 模型对应的 chekpoint 模型 是 xxmix9realistic_v40 。

直接点击chekpoint 下方的"下载"按钮进行下载。

下载完成,会得到 xxmix9realistic_v40.safetensors 文件。

5、 安装 chekpoint 模型

将 xxmix9realistic_v40.safetensors 文件 拷贝到Stable-diffusion 目录:

复制代码
\sd-webui-aki-v4.2\models\Stable-diffusion

安装完成后,重启 Stable diffusion 使其生效。

三、LORA 的使用

LORA的使用方法与EmbeddingsHypernetwork一样,为了方便新朋友的理解,这里详细演示一下步骤。

1、选择刚才安装的 chekpoint 模型

2、输入参数

  • 正向提示词

    复制代码
    (((best quality, masterpiece, good anatomy))), eula_in_genshin, cowboy shot, 1girl, blue short hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, upper body,outdoors, castle, streets, green plants, flowers,
  • 反向提示词

    复制代码
    ng_deepnegative_v1_75t, (badhandv4:1.5), (worst quality:2),(lower eyelashes:2), (low quality:2), (normal quality:2),(holding:2),(gloves:2),(blue gloves:2),(black gloves:2),lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) ,watermark
  • 采样方法:DPM++ 2M Karras

  • 迭代步数:40

  • 随机种子:1831064945

  • CFG Scale:21

3、重点来了,选择刚安装的 lora 模型

(1)、点击生成按钮下方的红色图标

切换到lora模型标签

(2)、lora 标签页面选择 刚安装的模型 Eula

此时,正向提示词输入框中会自动添加 LORA 模型,如下:

(3)、点击生成按钮 ,查看效果

(4)、使用技巧:

  • 我们可以调整权重来调高或调低效果

    将权重设置为 0 会禁用 LoRA 模型,可以在 0 和 1 之间调整样式效果。

    需要注意的是,每个 LORA 模型对输出图像的权重设置是非常重要的。权重设置越大,对画面的影响因素就越浅。通常情况下,权重 应该控制在 0.7-1 之间。如果权重过高,会大幅度影响出图的质量。

  • 通常来说,每个 LORA 模型都有对应的底膜和触发词汇。我们可以查看 LORA 作者产出的相关图片,从中获取模型信息,并从中选择一些提示词和排除词来指定生成图像的方向。

例如这个模型的介绍页面就有触发词的说明:

触发词为:

复制代码
eula_in_genshin, cowboy shot, 1girl, blue medium hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, black thighhighs, high heels,

也就是我们正向提示词里面的内容:

  • 与Embeddings类似,可以同时使用多个LoRA模型,还可以将它们与embeddings一起使用。

  • 在 AUTOMATIC1111 中,LoRA 短语不是提示词的一部分,LoRA模型应用后将被移除,这意味着不能将提示词语法使用在lora模型短语上。

好了,今天的内容就介绍到这里,下一篇,我们将继续介绍Lora 模型的类型,敬请关注。

相关推荐
星河耀银海11 分钟前
AI学习第一站:从感知到认知,AI到底是什么?
人工智能·学习·ai
小鸡吃米…12 分钟前
机器学习 - 堆叠集成(Stacking)
人工智能·python·机器学习
Faker66363aaa17 分钟前
YOLO11改进蚊虫目标检测模型,AttheHead注意力机制提升检测精度
人工智能·目标检测·计算机视觉
郝学胜-神的一滴18 分钟前
基于30年教学沉淀的清华大学AI通识经典:《人工智能的底层逻辑》
人工智能·程序人生·机器学习·scikit-learn·sklearn
OPEN-Source18 分钟前
大模型实战:把 LangChain / LlamaIndex 工作流接入监控与告警体系
人工智能·langchain·企业微信·rag
得物技术21 分钟前
大模型网关:大模型时代的智能交通枢纽|得物技术
人工智能·ai
共享家952722 分钟前
嵌入模型(Embedding)的全方位指南
人工智能·机器学习
ViiTor_AI31 分钟前
AI 有声书旁白来了:AI 配音如何重塑有声书制作模式
人工智能
2501_9416527732 分钟前
验证码识别与分类任务_gfl_x101-32x4d_fpn_ms-2x_coco模型训练与优化
人工智能·数据挖掘
砍树+c+v34 分钟前
3a 感知机训练过程示例(手算拆解,代码实现)
人工智能·算法·机器学习