解决auto_gptq安装问题

本地环境:autodl-ai租的服务器

安装了llamafactory,

在操作量化操作的时候显示需要安装auto_gptq

执行命令pip intall auto_gptq报错:

can't open file '/tmp/pip-install-mhxu1rw6/auto-gptq_65975ab1110b496eab719344c30e2479/./autogptq_extension/qigen/generate.py':

解决办法:使用源码安装:

git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ

set BUILD_CUDA_EXT=0

pip install .

既可成功解决问题。

llamafactory任然可能会报错环境问题,重启llamafactory可能可以解决问题

相关推荐
xunie3 分钟前
2025-08-09通过授权码的方式给exe程序充值
python
瓦尔登湖5088 分钟前
DAY 36 复习日
python
GoodTime27 分钟前
Datawhale AI夏令营 -「多模态RAG图文问答挑战赛」
人工智能·python·算法
Aousdu2 小时前
算法_python_学习记录_01
python·学习·算法
张子夜 iiii9 小时前
(0️⃣基础)程序控制语句(初学者)(第3天)
人工智能·python
码农派大星。12 小时前
Selenium在Pyhton应用
python·selenium·测试工具
day>day>up13 小时前
django uwsgi启动报错failed to get the Python codec of the filesystem encoding
后端·python·django
Shun_Tianyou13 小时前
Python Day25 进程与网络编程
开发语言·网络·数据结构·python·算法
都叫我大帅哥14 小时前
LangGraph条件判断:让AI工作流"聪明"起来
python·langchain
编程研究坊15 小时前
Neo4j APOC插件安装教程
数据库·人工智能·python·neo4j