解决auto_gptq安装问题

本地环境:autodl-ai租的服务器

安装了llamafactory,

在操作量化操作的时候显示需要安装auto_gptq

执行命令pip intall auto_gptq报错:

can't open file '/tmp/pip-install-mhxu1rw6/auto-gptq_65975ab1110b496eab719344c30e2479/./autogptq_extension/qigen/generate.py':

解决办法:使用源码安装:

git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ

set BUILD_CUDA_EXT=0

pip install .

既可成功解决问题。

llamafactory任然可能会报错环境问题,重启llamafactory可能可以解决问题

相关推荐
basketball61611 小时前
Python FastAPI 介绍以及常用方法
python·fastapi·vllm·ai infra
论文复现现场12 小时前
企业知识库 RAG 用什么模型便宜?GLM-5.3-Flash 长文本 API 实测
python·rag·企业知识库·大模型api·glm-5.3-flash
梦在远山后12 小时前
从手写 Loop 到可恢复 Runtime:用 LangGraph、PostgreSQL Checkpoint 与 AG-UI 跑通中断恢复
python·langchain·agent
Yolanda_202212 小时前
8.tensorboard的使用
python
用户03321266636712 小时前
使用 Python 添加、隐藏或删除 PowerPoint 幻灯片
python
言乐613 小时前
Python关键词抓取目标网站
python·django·virtualenv·pygame·tornado
用户77833661321113 小时前
搜索页的 URL 状态管理:可分享、可回退、可刷新
python·api
Liaiyang6613 小时前
空圈容错视角下的无人机全链路审计:从理论框架到耦合式检验
人工智能·pytorch·python·深度学习·系统架构·自动驾驶·无人机
liuchangng13 小时前
Jev 模型研究:从生成式大模型到决策式模型——System One、RLCD 校准与采用边界
java·javascript·人工智能·python·深度学习
微小冷13 小时前
patsy:Python中的统计建模语法
python·统计·建模·patsy·statmodels