解决auto_gptq安装问题

本地环境:autodl-ai租的服务器

安装了llamafactory,

在操作量化操作的时候显示需要安装auto_gptq

执行命令pip intall auto_gptq报错:

can't open file '/tmp/pip-install-mhxu1rw6/auto-gptq_65975ab1110b496eab719344c30e2479/./autogptq_extension/qigen/generate.py':

解决办法:使用源码安装:

git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ

set BUILD_CUDA_EXT=0

pip install .

既可成功解决问题。

llamafactory任然可能会报错环境问题,重启llamafactory可能可以解决问题

相关推荐
闲人编程43 分钟前
Python在云计算中的应用:AWS Lambda函数实战
服务器·python·云计算·aws·lambda·毕设·codecapsule
小兔崽子去哪了1 小时前
Python 数据分析环境搭建与工具使用指南
python
不惑_1 小时前
Java 使用 FileOutputStream 写 Excel 文件不落盘?
开发语言·python
IT小哥哥呀2 小时前
Python实用技巧:批量处理Excel数据并生成销售报表(含实战案例)
python·pandas·数据可视化·数据处理·报表生成·excel自动化·办公神器
烤奶要加冰2 小时前
PyCharm 社区版全平台安装指南
ide·windows·python·pycharm·mac
Siren_dream2 小时前
anaconda与pycharm
ide·python·pycharm
whale fall2 小时前
Windows下PyCharm如何激活python的虚拟环境
ide·python·pycharm
Geo_V2 小时前
提示词工程
人工智能·python·算法·ai
B站_计算机毕业设计之家2 小时前
计算机视觉:python车辆行人检测与跟踪系统 YOLO模型 SORT算法 PyQt5界面 目标检测+目标跟踪 深度学习 计算机✅
人工智能·python·深度学习·算法·yolo·目标检测·机器学习
Doc.S3 小时前
【保姆级教程】在AutoDL容器中部署EGO-Planner,实现无人机动态避障规划
人工智能·python·信息可视化·机器人