AMD AI MAX +395迷你主机 架构1151安装 vllm部署大模型操作记录

第一步 操作系统ubuntu24.4.3

安装 rocm

版本7.1

网址https://rocm.docs.amd.com/projects/install-on-linux/en/latest/install/prerequisites.html

安装conda python3.12版本

安装pytorch等软件

目前pytorch 还没有兼容rocm7.1的版本

用rocm编译好的安装包（torch tensorflow apex jax jaxlib torchaudio torchvision triton）

https://repo.radeon.com/rocm/manylinux/rocm-rel-7.1.1/

安装下来后， 安装 pip install XXXX.wel

检查：pytorch 的版本 是否是：pytorch+rocm7.1

安装vllm前准备

git clone https://github.com/ROCm/flash-attention.git

cd flash-attention && git checkout v2.7.3-cktile && python setup.py install

pip install amdsmi --force-reinstall

pip install amdsmi==7.0.2

编译安装vllm

git clone -b v0.13.0 https://github.com/vllm-project/vllm.git

pip install --upgrade packaging --ignore-installed

pip install -r requirements/rocm.txt

export PYTORCH_ROCM_ARCH="gfx1151"

python3 setup.py install

下载模型

魔塔社区

https://modelscope.cn/models/openai-mirror/gpt-oss-120b

运行vllm

vllm serve / l/qwen3-32 --served-model-name qwen3-32 --dtype auto --max-model-len 32768 --host 0.0.0.0 --port 8000 --async-scheduling