第一步 操作系统ubuntu24.4.3
安装 rocm
版本7.1
网址https://rocm.docs.amd.com/projects/install-on-linux/en/latest/install/prerequisites.html
安装conda python3.12版本
安装pytorch等软件
目前pytorch 还没有兼容rocm7.1的版本
用rocm编译好的安装包（torch tensorflow apex jax jaxlib torchaudio torchvision triton）
https://repo.radeon.com/rocm/manylinux/rocm-rel-7.1.1/
安装下来后， 安装 pip install XXXX.wel
检查：pytorch 的版本 是否是：pytorch+rocm7.1
安装vllm前准备
git clone https://github.com/ROCm/flash-attention.git
cd flash-attention && git checkout v2.7.3-cktile && python setup.py install
pip install amdsmi --force-reinstall
pip install amdsmi==7.0.2
编译安装vllm
git clone -b v0.13.0 https://github.com/vllm-project/vllm.git
pip install --upgrade packaging --ignore-installed
pip install -r requirements/rocm.txt
export PYTORCH_ROCM_ARCH="gfx1151"
python3 setup.py install
下载模型
魔塔社区
https://modelscope.cn/models/openai-mirror/gpt-oss-120b
运行vllm
vllm serve / l/qwen3-32 --served-model-name qwen3-32 --dtype auto --max-model-len 32768 --host 0.0.0.0 --port 8000 --async-scheduling