通过模型文件估算模型参数量大小

1. 关键文件解析

文件名 作用 参数信息提取线索
adapter_model.safetensors 存储微调后的适配器权重 直接反映可训练参数量
adapter_config.json 记录LoRA/Adapter的配置参数 包含ranktarget_modules

2. 参数规模计算(以您的文件为例)

步骤1:检查safetensors文件
  • 文件大小:139.51MB

    如果是FP32精度(4字节/参数):
    参数量 ≈ 139.51 × 1024² ÷ 4 ≈ 36.6M 参数

    如果是FP16精度(2字节/参数):
    参数量 ≈ 139.51 × 1024² ÷ 2 ≈ 73.2M 参数

步骤2:验证配置(adapter_config.json)
复制代码
// 典型内容示例
{
  "r": 8,                     // LoRA秩
  "target_modules": ["q_proj", "v_proj"],  // 目标模块
  "base_model_name_or_path": "llama-7b"    // 基础模型
}
  • 计算原理

    假设基础模型为LLaMA-7B(隐藏层维度=4096),LoRA仅作用于q_projv_proj两个模块:

    单个模块参数量 = r × (d_input + d_output) = 8 × (4096 + 4096) = 65,536

    总参数量 = 65,536 × 2模块 = 131,072 参数(约0.13M)

    与文件大小不符,说明实际可能是全参数微调适配器而非标准LoRA。

相关推荐
酉鬼女又兒8 小时前
零基础入门Linux指南:每天一个Linux命令_sed
linux·运维·服务器
daad7778 小时前
tcpdump_BPF
linux·测试工具·tcpdump
予枫的编程笔记8 小时前
【Linux进阶篇】Linux网络配置+端口监听实战:ip/ss/iptables常用命令一次吃透
linux·iptables·网络配置·curl·端口监听·ping·ss命令
礼拜天没时间.8 小时前
深入Docker架构——C/S模式解析
linux·docker·容器·架构·centos
醉风塘8 小时前
Linux进程管理:深度解析ps -ef命令及其高级应用
linux·运维·服务器
不做无法实现的梦~8 小时前
PX4各个模块的作用(3)
linux·stm32·嵌入式硬件·机器人·自动驾驶
WJ.Polar8 小时前
FTP、Telnet、PPP、SNMP协议
服务器·网络
不爱缺氧i8 小时前
ubuntu离线安装mariadb
linux·ubuntu·mariadb
疯狂敲代码的老刘8 小时前
JDK 1.6到25 全版本网盘合集 (Windows + Mac + Linux)
java·linux·windows·macos·jdk
爆米花byh8 小时前
在RockyLinux9环境的Storm2.8.3单机版安装
linux·中间件·storm