llama_factory Qlora微调异常 No package metadata was found for The ‘autoawq‘

importlib.metadata.PackageNotFoundError: No package metadata was found for The 'autoawq' distribution was not found and is required by this application.

To fix: pip install autoawq

其实问题比较简单 直接安装autoawq 即可

但是对应会有版本问题:

查看当前llama factory版本

复制代码
llamafactory-cli version

torch 版本

复制代码
import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.backends.cudnn.version())

安装 autoawq 去Git上看大部分都支持CUDA 12.1 选择一个版本安装即可

复制代码
pip install autoawq==0.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

当前环境报错:

因为autoawq 内置 torch 为2.3.1 所以会与本地torch 2.2.2版本不兼容

直接进行升级即可注意匹配CUDA (当前为12.1)版本

复制代码
pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

(小编尝试过版本降级,但总有其他依赖报错,进行放弃,升级)

查看安装是否成功:

复制代码
pip show torch
复制代码
conda list torch

torch 安装成功!

重新安装autoawq

复制代码
pip install autoawq==0.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

问题解决!

后记:大模型微调lora与Qlora 区别还是挺大的,Qlora 微调起来相对麻烦一些对应处理依赖也会更多一些!

主要区别总结
适用范围 :LoRA 可以应用于任何未量化的模型,而 QLoRA 则专门用于已经量化的模型。
内存占用 :QLoRA 通常会比 LoRA 占用更少的内存,因为它可以利用量化带来的内存节省效果。
实现复杂度 :QLoRA 的实现可能比 LoRA 更加复杂,因为它需要处理量化模型特有的问题。
性能优化:QLoRA 通过使用 4-bit 量化和可学习的低秩适配器,能够在保持性能的同时显著减少内存使用

相关推荐
GRITJW1 天前
大模型参数高效微调技术
大模型微调
胡耀超2 天前
开源生态与技术民主化 - 从LLaMA到DeepSeek的开源革命(LLaMA、DeepSeek-V3、Mistral 7B)
人工智能·python·神经网络·开源·大模型·llama·deepseek
居7然3 天前
如何高效微调大模型?LLama-Factory一站式解决方案全解析
人工智能·大模型·llama·大模型训练·vllm
万事可爱^3 天前
如何在云服务器上使用LLaMA Factory框架微调模型
运维·服务器·llm·sft·llama·模型微调·ai agent
max5006003 天前
基于Meta Llama的二语习得学习者行为预测计算模型
人工智能·算法·机器学习·分类·数据挖掘·llama
谷咕咕3 天前
windows下python3,LLaMA-Factory部署以及微调大模型,ollama运行对话,开放api,java,springboot项目调用
java·windows·语言模型·llama
时序之心6 天前
ACL 2025 Time-LlaMA 大语言模型高效适配时间序列预测
人工智能·语言模型·论文·llama·时间序列
谷新龙0016 天前
mac m4电脑运行 LLaMA Factory 微调
macos·llama
qzhqbb6 天前
LLaMA-Factory+Lora+modelscope(离线版)
llama
大模型教程13 天前
小白学大模型:从零搭建LLaMA
程序员·llm·llama