技术栈
昇腾950
zjun3021
3 小时前
vllm
·
vllm-ascend
·
torch_npu
·
昇腾950
【昇腾950】如何在昇腾950pr的容器环境上部署vllm
当前小主环境是容器，内部只安装了cann的环境，目的是需要在昇腾950pr的机器上跑起vllm。 cann的版本安装的是9.0.0的版本，
我是有底线的