本地环境:autodl-ai租的服务器
安装了llamafactory,
在操作量化操作的时候显示需要安装auto_gptq
执行命令pip intall auto_gptq报错:
can't open file '/tmp/pip-install-mhxu1rw6/auto-gptq_65975ab1110b496eab719344c30e2479/./autogptq_extension/qigen/generate.py':
解决办法:使用源码安装:
git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ
set BUILD_CUDA_EXT=0
pip install .
既可成功解决问题。
llamafactory任然可能会报错环境问题,重启llamafactory可能可以解决问题