CentOS Linux 8 的系统部署 Qwen2.5-7B -Instruct-AWQ

安装依赖组件

安装 EPEL 仓库

sudo yum install -y epel-release

安装基础工具链

sudo yum install -y git python3-pip gcc-c++ make

创建 Python 虚拟环境

创建虚拟环境

python3 -m venv qwen-env

source qwen-env/bin/activate

升级 pip 并安装常用库

pip install --upgrade pip

pip install torch==2.1.0+cu118 torchvision==0.16.0+cu118 torchaudio==2.1.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

pip install transformers accelerate bitsandbytes optimum

下载并加载 Qwen2.5-7B-Instruct-AWQ 模型

git clone https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-AWQ