解决auto_gptq安装问题

本地环境:autodl-ai租的服务器

安装了llamafactory,

在操作量化操作的时候显示需要安装auto_gptq

执行命令pip intall auto_gptq报错:

can't open file '/tmp/pip-install-mhxu1rw6/auto-gptq_65975ab1110b496eab719344c30e2479/./autogptq_extension/qigen/generate.py':

解决办法:使用源码安装:

git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ

set BUILD_CUDA_EXT=0

pip install .

既可成功解决问题。

llamafactory任然可能会报错环境问题,重启llamafactory可能可以解决问题

相关推荐
敏编程2 小时前
一天一个Python库:jsonschema - JSON 数据验证利器
python
前端付豪2 小时前
LangChain记忆:通过Memory记住上次的对话细节
人工智能·python·langchain
databook3 小时前
ManimCE v0.20.1 发布:LaTeX 渲染修复与动画稳定性提升
python·动效
花酒锄作田15 小时前
使用 pkgutil 实现动态插件系统
python
前端付豪19 小时前
LangChain链 写一篇完美推文?用SequencialChain链接不同的组件
人工智能·python·langchain
曲幽19 小时前
FastAPI实战:打造本地文生图接口,ollama+diffusers让AI绘画更听话
python·fastapi·web·cors·diffusers·lcm·ollama·dreamshaper8·txt2img
老赵全栈实战20 小时前
Pydantic配置管理最佳实践(一)
python
阿尔的代码屋1 天前
[大模型实战 07] 基于 LlamaIndex ReAct 框架手搓全自动博客监控 Agent
人工智能·python
AI探索者2 天前
LangGraph StateGraph 实战:状态机聊天机器人构建指南
python
AI探索者2 天前
LangGraph 入门:构建带记忆功能的天气查询 Agent
python