
1. 关键文件解析
文件名 | 作用 | 参数信息提取线索 |
---|---|---|
adapter_model.safetensors |
存储微调后的适配器权重 | 直接反映可训练参数量 |
adapter_config.json |
记录LoRA/Adapter的配置参数 | 包含rank 、target_modules 等 |
2. 参数规模计算(以您的文件为例)
步骤1:检查safetensors文件
-
文件大小:139.51MB
如果是FP32精度(4字节/参数):
参数量 ≈ 139.51 × 1024² ÷ 4 ≈ 36.6M 参数如果是FP16精度(2字节/参数):
参数量 ≈ 139.51 × 1024² ÷ 2 ≈ 73.2M 参数
步骤2:验证配置(adapter_config.json)
// 典型内容示例
{
"r": 8, // LoRA秩
"target_modules": ["q_proj", "v_proj"], // 目标模块
"base_model_name_or_path": "llama-7b" // 基础模型
}
-
计算原理 :
假设基础模型为LLaMA-7B(隐藏层维度=4096),LoRA仅作用于
q_proj
和v_proj
两个模块:单个模块参数量 =
r × (d_input + d_output) = 8 × (4096 + 4096) = 65,536
总参数量 = 65,536 × 2模块 = 131,072 参数(约0.13M)
与文件大小不符,说明实际可能是全参数微调适配器而非标准LoRA。