LoRA微调模型结构可训参数和配置详解
背景
上一篇主要整理了一些关于LoRA的知识点总结，本文则主要从以下几方面继续学习分析LoRA微调策略。上篇 LoRA常见知识点。
测试内容和代码
1、构建一个简单的两层线性网络，加relu激活函数，在第一层Linear中使用LoRA策略，打印看下模型结构。复习Lora在第一层Lnear网络的结构，即在第一层旁增加lora策略。
2、打印原始网络结构中可训练的参数和LoRA策略下的参数量。
3、LoraConfig类的一些参数解释。
整体代码如下：
python
import torch
import torch.nn as nn
from peft import get_peft_model, LoraConfig
# 定义基础模型
class SimpleMLP(nn.Module):
def __init__(self):
super(SimpleMLP, self).__init__()
self.fc1 = nn.Linear(10, 20)
self.relu = nn.ReLU()
self.fc2 = nn.Linear(20, 2)
def forward(self, x):
x = self.fc1(x)
x = self.relu(x)
x = self.fc2(x)
return x
def count_parameters(model):
"""计算可训练的参数"""
for name, param in model.named_parameters():
if param.requires_grad:
# 打印具体的参数名称和形状
print(f"{name}: {param.size()}")
# 可训练参数总量
return sum(p.numel() for p in model.parameters() if p.requires_grad)
model = SimpleMLP()
print(f"原始的网络结构：\n {model}")
print(f"原始模型的参数量：{count_parameters(model)}")
# Lora 配置
config = LoraConfig(
r=4,
lora_alpha=16,
lora_dropout=0.1,
target_modules=["fc1"],
)
# Lora策略
model = get_peft_model(model, config)
print(f"Lora微调的网络结构：\n {model}")
print(f"增加Lora策略的，模型参数量：{count_parameters(model)}")网络、参数和配置分析
1、网络结构如下：可以看出在fc1旁增加了两个没有偏置的额外矩阵lora_A和lora_B
原始的网络结构：
SimpleMLP(
(fc1): Linear(in_features=10, out_features=20, bias=True)
(relu): ReLU()
(fc2): Linear(in_features=20, out_features=2, bias=True)
)
Lora微调的网络结构：
PeftModel(
(base_model): LoraModel(
(model): SimpleMLP(
(fc1): Linear(
in_features=10, out_features=20, bias=True
(lora_dropout): ModuleDict(
(default): Dropout(p=0.1, inplace=False)
)
(lora_A): ModuleDict(
(default): Linear(in_features=10, out_features=4, bias=False)
)
(lora_B): ModuleDict(
(default): Linear(in_features=4, out_features=20, bias=False)
)
(lora_embedding_A): ParameterDict()
(lora_embedding_B): ParameterDict()
)
(relu): ReLU()
(fc2): Linear(in_features=20, out_features=2, bias=True)
)
)
)
2、参数量如下：
原始模型可训练参数量。
计算方式：权重 + 偏置 20 × 10 + 20 + 2 × 20 + 2 = 262 计算方式：权重+偏置 \ 20 \times 10 + 20 +2 \times 20 + 2=262 计算方式：权重+偏置 20×10+20+2×20+2=262
fc1.weight: torch.Size([20, 10])
fc1.bias: torch.Size([20])
fc2.weight: torch.Size([2, 20])
fc2.bias: torch.Size([2])
原始模型的参数量：262
LoRA策略下始模型可训练参数，在已有的预训练模型中，LoRA会冻结其他所有参数 ，微调target_modules列表中指定的某些层的参数量。由于此例中指定target_modules=["fc1"]，所以LoRA策略下整个模型可训练参数量为
4 × 10 + 20 × 4 = 120 ( 网络结构中偏置为 F a l s e ) 4 \times 10 + 20 \times 4 = 120 \ (网络结构中偏置为False) 4×10+20×4=120 (网络结构中偏置为False)
base_model.model.fc1.lora_A.default.weight: torch.Size([4, 10])
base_model.model.fc1.lora_B.default.weight: torch.Size([20, 4])
增加Lora策略的，模型参数量：120
3、LoraConfig类初始化参数说明：
python
config = LoraConfig(
r=4,
lora_alpha=16,
lora_dropout=0.1,
target_modules=["fc1"],
)核心超参数:
-
r=4 LoRA模型中新增加的权重矩阵的秩。
-
lora_alpha=16 控制LoRA模块中缩放因子的大小，default=8 （peft==0.5.0）。
-
lora_dropout=0.1 LoRA模块中的dropout。
lora_alpha参数解释如下：
假设原始权重矩阵为 W ， L o R A 引入的低秩矩阵为 A 和 B ，则新的权重矩阵 W ′ 可以表示为： W ′ = W + α ⋅ A B 其中： W 是原始权重矩阵 A 和 B 是 L o R A 额外权重矩阵 α 是缩放因子，即 l o r a _ a l p h a 假设原始权重矩阵为 \mathbf{W}，LoRA 引入的低秩矩阵为 \mathbf{A} 和 \mathbf{B}，则新的权重矩阵 \mathbf{W'} 可以表示为：\\ \mathbf{W'} = \mathbf{W} + \alpha \cdot \mathbf{A} \mathbf{B}\\ 其中：\\ \mathbf{W} 是原始权重矩阵\\ \mathbf{A}和 \mathbf{B}是LoRA额外权重矩阵 \\ \alpha 是缩放因子，即 lora\_alpha\\ 假设原始权重矩阵为W，LoRA引入的低秩矩阵为A和B，则新的权重矩阵W′可以表示为：W′=W+α⋅AB其中：W是原始权重矩阵A和B是LoRA额外权重矩阵α是缩放因子，即lora_alpha
至于为什么缩放因子不是一个0到1的小数？
如果lora_alpha设置为一个较小的值（如介于 0 到 1 之间），那么缩放因子 α \alpha α也会非常小，这会导致 LoRA 更新矩阵的影响变得非常微弱，从而可能无法有效调整模型。
留个问题
如果说LoraConfig配置是这样的：
python
config = LoraConfig(
r=4,
lora_alpha=16,
lora_dropout=0.1,
target_modules=["fc1", "fc2"],
)
# Lora技术
model = get_peft_model(model, config)
print(f"Lora微调的网络结构：\n {model}")
print(f"增加Lora策略的，模型参数量：{count_parameters(model)}")打印结果如下：
base_model.model.fc1.lora_A.default.weight: torch.Size([4, 10])
base_model.model.fc1.lora_B.default.weight: torch.Size([20, 4])
base_model.model.fc2.lora_A.default.weight: torch.Size([4, 20])
base_model.model.fc2.lora_B.default.weight: torch.Size([2, 4])
可以发现，fc1和gc2都是用的同一个超参r=4，而且dropout也都是0.1。
如何修改LoraConfig使得fc1和fc2中的超参不同呢？
计划放在LoRA的实战训练和推理中解决这个问题，到时候再来比较一下两种策略差异。