安装依赖组件
安装 EPEL 仓库
sudo yum install -y epel-release
安装基础工具链
sudo yum install -y git python3-pip gcc-c++ make
创建 Python 虚拟环境
创建虚拟环境
python3 -m venv qwen-env
source qwen-env/bin/activate
升级 pip 并安装常用库
pip install --upgrade pip
pip install torch==2.1.0+cu118 torchvision==0.16.0+cu118 torchaudio==2.1.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate bitsandbytes optimum
下载并加载 Qwen2.5-7B-Instruct-AWQ 模型
git clone https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-AWQ