解决auto_gptq安装问题

本地环境:autodl-ai租的服务器

安装了llamafactory,

在操作量化操作的时候显示需要安装auto_gptq

执行命令pip intall auto_gptq报错:

can't open file '/tmp/pip-install-mhxu1rw6/auto-gptq_65975ab1110b496eab719344c30e2479/./autogptq_extension/qigen/generate.py':

解决办法:使用源码安装:

git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ

set BUILD_CUDA_EXT=0

pip install .

既可成功解决问题。

llamafactory任然可能会报错环境问题,重启llamafactory可能可以解决问题

相关推荐
2501_908329854 小时前
Python入门:从零到一的第一个程序
jvm·数据库·python
紫丁香4 小时前
Selenium自动化测试详解1
python·selenium·测试工具·ui
Liu628884 小时前
Web开发与API
jvm·数据库·python
观书喜夜长4 小时前
大模型应用开发学习-基于langchain框架做一个个人文档问答助手
python·学习·idea
m0_743470374 小时前
Python字典与集合:高效数据管理的艺术
jvm·数据库·python
2501_945423544 小时前
使用Scrapy框架构建分布式爬虫
jvm·数据库·python
2401_851272994 小时前
使用Python进行量化交易入门
jvm·数据库·python
93_Ryan4 小时前
企业级混合智能体核心引擎架构设计
人工智能·python
故城、5 小时前
Python进阶
开发语言·python