解决auto_gptq安装问题

本地环境:autodl-ai租的服务器

安装了llamafactory,

在操作量化操作的时候显示需要安装auto_gptq

执行命令pip intall auto_gptq报错:

can't open file '/tmp/pip-install-mhxu1rw6/auto-gptq_65975ab1110b496eab719344c30e2479/./autogptq_extension/qigen/generate.py':

解决办法:使用源码安装:

git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ

set BUILD_CUDA_EXT=0

pip install .

既可成功解决问题。

llamafactory任然可能会报错环境问题,重启llamafactory可能可以解决问题

相关推荐
啊阿狸不会拉杆几秒前
人工智能数学基础(一):人工智能与数学
人工智能·python·算法
蹦蹦跳跳真可爱5893 分钟前
Python----卷积神经网络(卷积为什么能识别图像)
人工智能·python·深度学习·神经网络·计算机视觉·cnn
geovindu11 分钟前
PyCharm 2023升级2024 版本
ide·python·pycharm
roc-ever39 分钟前
用Python做有趣的AI项目5:AI 画画机器人(图像风格迁移)
人工智能·python·深度学习
不爱学英文的码字机器1 小时前
数字孪生的浪潮:从虚拟镜像到现实世界的 IT 变革
大数据·python
小白—人工智能1 小时前
数据可视化 —— 直方图
python·信息可视化·数据可视化
大模型真好玩1 小时前
初学者必看大模型微调指南:Unsloth官方微调技巧大公开!
人工智能·python
谈不譚网安2 小时前
初识Python
开发语言·python
慕雪华年2 小时前
【Python】使用uv管理python虚拟环境
开发语言·python·ai·uv·mcp
跳跳糖炒酸奶3 小时前
第二章、Isaaclab强化学习包装器(1)
人工智能·python·算法·ubuntu·机器人