解决auto_gptq安装问题

本地环境:autodl-ai租的服务器

安装了llamafactory,

在操作量化操作的时候显示需要安装auto_gptq

执行命令pip intall auto_gptq报错:

can't open file '/tmp/pip-install-mhxu1rw6/auto-gptq_65975ab1110b496eab719344c30e2479/./autogptq_extension/qigen/generate.py':

解决办法:使用源码安装:

git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ

set BUILD_CUDA_EXT=0

pip install .

既可成功解决问题。

llamafactory任然可能会报错环境问题,重启llamafactory可能可以解决问题

相关推荐
笨鸟先飞,勤能补拙11 小时前
AI 赋能网络安全:技术全景、成熟度评估与实战案例
人工智能·python·安全·web安全·网络安全·sqlite·github
长和信泰光伏储能12 小时前
京津冀光伏发电:绿色能源的未来之路
python·能源
浦信仿真大讲堂13 小时前
从重复操作到自动化闭环:如何让 CST 与 Python 真正协同起来
python·自动化·cst·仿真软件·达索软件
Gu Gu Study13 小时前
ScoutLoop开放域深度研究引擎(agent的初步设计想法)
人工智能·python
卷无止境14 小时前
写代码这件事,到底该讲究点什么?
后端·python
卷无止境14 小时前
循环复杂度到底在算什么,Python 代码怎么才能写得让人一看就懂
后端·python
lpfasd12314 小时前
MediaCrawler 项目深度分析
chrome·python·chrome devtools
Dxy123931021615 小时前
Python项目打包成EXE完整教程(PyInstaller实战避坑)
开发语言·python
bamb0015 小时前
一个项目带你入门AI应用开发01
python
05664615 小时前
Python康复训练——常用标准库
开发语言·python·学习