llama_factory Qlora微调异常 No package metadata was found for The ‘autoawq‘

importlib.metadata.PackageNotFoundError: No package metadata was found for The 'autoawq' distribution was not found and is required by this application.

To fix: pip install autoawq

其实问题比较简单 直接安装autoawq 即可

但是对应会有版本问题:

查看当前llama factory版本

llamafactory-cli version

torch 版本

import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.backends.cudnn.version())

安装 autoawq 去Git上看大部分都支持CUDA 12.1 选择一个版本安装即可

pip install autoawq==0.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

当前环境报错:

因为autoawq 内置 torch 为2.3.1 所以会与本地torch 2.2.2版本不兼容

直接进行升级即可注意匹配CUDA (当前为12.1)版本

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

(小编尝试过版本降级,但总有其他依赖报错,进行放弃,升级)

查看安装是否成功:

pip show torch
conda list torch

torch 安装成功!

重新安装autoawq

pip install autoawq==0.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

问题解决!

后记:大模型微调lora与Qlora 区别还是挺大的,Qlora 微调起来相对麻烦一些对应处理依赖也会更多一些!

主要区别总结
适用范围 :LoRA 可以应用于任何未量化的模型,而 QLoRA 则专门用于已经量化的模型。
内存占用 :QLoRA 通常会比 LoRA 占用更少的内存,因为它可以利用量化带来的内存节省效果。
实现复杂度 :QLoRA 的实现可能比 LoRA 更加复杂,因为它需要处理量化模型特有的问题。
性能优化:QLoRA 通过使用 4-bit 量化和可学习的低秩适配器,能够在保持性能的同时显著减少内存使用

相关推荐
SpikeKing2 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
人工智能培训咨询叶梓5 小时前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调
韬小志1 天前
【LLaMa-Factory】监督微调训练方法
人工智能·深度学习·llama
大拨鼠2 天前
【多模态读论文系列】LLaMA-Adapter V2论文笔记
论文阅读·人工智能·llama
努力的光头强3 天前
太炸裂了,Ollama跑本地模型已成为历史,现在都在使用这个工具,而且还能集成本地知识库
人工智能·ai·pdf·产品经理·llama
AIBigModel5 天前
LLaMA系列一直在假装开源...
开源·llama
三月七(爱看动漫的程序员)6 天前
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
人工智能·gpt·语言模型·自然语言处理·chatgpt·llama
励志成为美貌才华为一体的女子7 天前
基于LLaMA Factory对LLama 3指令微调的操作学习笔记
llama
HyperAI超神经8 天前
对标Hugging Face?GitHub Models新增OpenAI o1/Llama 3.2等, 新功能支持模型并排比较
人工智能·机器学习·github·llama·huggingface
努力的光头强10 天前
人工智能大模型赋能医疗健康产业白皮书(2023年)|附88页PDF文件下载
人工智能·算法·ai·pdf·产品经理·llama