LoRA微调模型结构可训参数和配置详解

LoRA微调模型结构可训参数和配置详解

背景

上一篇主要整理了一些关于LoRA的知识点总结,本文则主要从以下几方面继续学习分析LoRA微调策略。上篇 LoRA常见知识点

测试内容和代码

1、构建一个简单的两层线性网络,加relu激活函数,在第一层Linear中使用LoRA策略,打印看下模型结构。复习Lora在第一层Lnear网络的结构,即在第一层旁增加lora策略。

2、打印原始网络结构中可训练的参数和LoRA策略下的参数量。

3、LoraConfig类的一些参数解释。

整体代码如下:

python 复制代码
import torch
import torch.nn as nn
from peft import get_peft_model, LoraConfig


# 定义基础模型
class SimpleMLP(nn.Module):
    def __init__(self):
        super(SimpleMLP, self).__init__()
        self.fc1 = nn.Linear(10, 20)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(20, 2)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        return x

def count_parameters(model):
    """计算可训练的参数"""
    for name, param in model.named_parameters():
        if param.requires_grad:
            # 打印具体的参数名称和形状
            print(f"{name}: {param.size()}")
    # 可训练参数总量
    return sum(p.numel() for p in model.parameters() if p.requires_grad)


model = SimpleMLP()
print(f"原始的网络结构:\n {model}")
print(f"原始模型的参数量:{count_parameters(model)}")

# Lora 配置
config = LoraConfig(
    r=4,
    lora_alpha=16,
    lora_dropout=0.1,
    target_modules=["fc1"],
)

# Lora策略
model = get_peft_model(model, config)

print(f"Lora微调的网络结构:\n {model}")
print(f"增加Lora策略的,模型参数量:{count_parameters(model)}")

网络、参数和配置分析

1、网络结构如下:可以看出在fc1旁增加了两个没有偏置的额外矩阵lora_A和lora_B

复制代码
原始的网络结构:
 SimpleMLP(
  (fc1): Linear(in_features=10, out_features=20, bias=True)
  (relu): ReLU()
  (fc2): Linear(in_features=20, out_features=2, bias=True)
)
Lora微调的网络结构:
 PeftModel(
  (base_model): LoraModel(
    (model): SimpleMLP(
      (fc1): Linear(
        in_features=10, out_features=20, bias=True
        (lora_dropout): ModuleDict(
          (default): Dropout(p=0.1, inplace=False)
        )
        (lora_A): ModuleDict(
          (default): Linear(in_features=10, out_features=4, bias=False)
        )
        (lora_B): ModuleDict(
          (default): Linear(in_features=4, out_features=20, bias=False)
        )
        (lora_embedding_A): ParameterDict()
        (lora_embedding_B): ParameterDict()
      )
      (relu): ReLU()
      (fc2): Linear(in_features=20, out_features=2, bias=True)
    )
  )
)

2、参数量如下:

原始模型可训练参数量。
计算方式:权重 + 偏置 20 × 10 + 20 + 2 × 20 + 2 = 262 计算方式:权重+偏置 \ 20 \times 10 + 20 +2 \times 20 + 2=262 计算方式:权重+偏置 20×10+20+2×20+2=262

复制代码
fc1.weight: torch.Size([20, 10])
fc1.bias: torch.Size([20])
fc2.weight: torch.Size([2, 20])
fc2.bias: torch.Size([2])
原始模型的参数量:262

LoRA策略下始模型可训练参数,在已有的预训练模型中,LoRA会冻结其他所有参数 ,微调target_modules列表中指定的某些层的参数量。由于此例中指定target_modules=["fc1"],所以LoRA策略下整个模型可训练参数量为
4 × 10 + 20 × 4 = 120 ( 网络结构中偏置为 F a l s e ) 4 \times 10 + 20 \times 4 = 120 \ (网络结构中偏置为False) 4×10+20×4=120 (网络结构中偏置为False)

复制代码
base_model.model.fc1.lora_A.default.weight: torch.Size([4, 10])
base_model.model.fc1.lora_B.default.weight: torch.Size([20, 4])
增加Lora策略的,模型参数量:120

3、LoraConfig类初始化参数说明:

python 复制代码
config = LoraConfig(
    r=4,
    lora_alpha=16,
    lora_dropout=0.1,
    target_modules=["fc1"],
)

核心超参数:

  • r=4 LoRA模型中新增加的权重矩阵的秩。

  • lora_alpha=16 控制LoRA模块中缩放因子的大小,default=8 (peft==0.5.0)。

  • lora_dropout=0.1 LoRA模块中的dropout。

lora_alpha参数解释如下:
假设原始权重矩阵为 W , L o R A 引入的低秩矩阵为 A 和 B ,则新的权重矩阵 W ′ 可以表示为: W ′ = W + α ⋅ A B 其中: W 是原始权重矩阵 A 和 B 是 L o R A 额外权重矩阵 α 是缩放因子,即 l o r a _ a l p h a 假设原始权重矩阵为 \mathbf{W},LoRA 引入的低秩矩阵为 \mathbf{A} 和 \mathbf{B},则新的权重矩阵 \mathbf{W'} 可以表示为:\\ \mathbf{W'} = \mathbf{W} + \alpha \cdot \mathbf{A} \mathbf{B}\\ 其中:\\ \mathbf{W} 是原始权重矩阵\\ \mathbf{A}和 \mathbf{B}是LoRA额外权重矩阵 \\ \alpha 是缩放因子,即 lora\_alpha\\ 假设原始权重矩阵为W,LoRA引入的低秩矩阵为A和B,则新的权重矩阵W′可以表示为:W′=W+α⋅AB其中:W是原始权重矩阵A和B是LoRA额外权重矩阵α是缩放因子,即lora_alpha

至于为什么缩放因子不是一个0到1的小数?

如果lora_alpha设置为一个较小的值(如介于 0 到 1 之间),那么缩放因子 α \alpha α也会非常小,这会导致 LoRA 更新矩阵的影响变得非常微弱,从而可能无法有效调整模型。

留个问题

如果说LoraConfig配置是这样的:

python 复制代码
config = LoraConfig(
    r=4,
    lora_alpha=16,
    lora_dropout=0.1,
    target_modules=["fc1", "fc2"],
)
# Lora技术
model = get_peft_model(model, config)
print(f"Lora微调的网络结构:\n {model}")
print(f"增加Lora策略的,模型参数量:{count_parameters(model)}")

打印结果如下:

复制代码
base_model.model.fc1.lora_A.default.weight: torch.Size([4, 10])
base_model.model.fc1.lora_B.default.weight: torch.Size([20, 4])
base_model.model.fc2.lora_A.default.weight: torch.Size([4, 20])
base_model.model.fc2.lora_B.default.weight: torch.Size([2, 4])

可以发现,fc1和gc2都是用的同一个超参r=4,而且dropout也都是0.1。

如何修改LoraConfig使得fc1和fc2中的超参不同呢?

计划放在LoRA的实战训练和推理中解决这个问题,到时候再来比较一下两种策略差异。

相关推荐
Brian Xia12 分钟前
深度学习入门教程(三)- 线性代数教程
人工智能·深度学习·线性代数
boooo_hhh18 分钟前
第35周—————糖尿病预测模型优化探索
pytorch·深度学习·机器学习
JJ1M81 小时前
前缀和+贪心总结,基于每日一题力扣3439、3440
python·算法·leetcode
Skrrapper1 小时前
Flask 入门到实战(2):使用 SQLAlchemy 打造可持久化的数据层
后端·python·flask
云空2 小时前
《探索电脑麦克风声音采集多窗口实时可视化技术》
人工智能·python·算法
feihui2 小时前
记一次 Python 服务 TCE 实例进程异常退出排查
python·gunicorn
超龄超能程序猿2 小时前
使用 Python 对本地图片进行图像分类
开发语言·人工智能·python·机器学习·分类·数据挖掘·scipy
大千AI助手2 小时前
RLHF:人类反馈强化学习 | 对齐AI与人类价值观的核心引擎
人工智能·深度学习·算法·机器学习·强化学习·rlhf·人类反馈强化学习
谢斯2 小时前
[python]在drf中使用drf_spectacular
python·django
我爱一条柴ya2 小时前
【AI大模型】RAG系统组件:向量数据库(ChromaDB)
数据库·人工智能·pytorch·python·ai·ai编程