通义千问-7B-Chat-Int4

通义千问-7B-Chat-Int4

代码仓库地址：https://github.com/QwenLM/Qwen

安装

1. 克隆我们的仓库并跳转到相应目录

   git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git
   cd Qwen-7B-Chat-Int4

2. 创建 conda 环境

   conda create -n qwenint4 python=3.8 -y
   conda activate qwenint4

   conda activate qwenint4

3. 安装依赖

   pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple

   pip install gradio==3.40.0 -i https://pypi.mirrors.ustc.edu.cn/simple

安装缺失

pip install optimum -i https://pypi.mirrors.ustc.edu.cn/simple

pip install auto-gptq -i https://pypi.mirrors.ustc.edu.cn/simple