技术栈
vllm-ascend
zjun3021
18 天前
vllm
·
vllm-ascend
·
torch_npu
·
昇腾950
【昇腾950】如何在昇腾950pr的容器环境上部署vllm
当前小主环境是容器，内部只安装了cann的环境，目的是需要在昇腾950pr的机器上跑起vllm。 cann的版本安装的是9.0.0的版本，
x_lrong
2 个月前
微调
·
部署
·
昇腾
·
ascend
·
llamafactory
·
qwen3
·
vllm-ascend
昇腾Ascend环境微调部署Qwen3（LlamaFactory+vLLM-Ascend）
环境介绍：GitCode：实例：NPU basic · 1 * NPU 910B · 16v CPU · 64GB
AiChiMomo.
6 个月前
昇腾
·
vllm
·
glm4.5
·
vllm-ascend
【vLLM-模型特性适配】GLM4.5 GLM4.6 w8a8权重量化
作者：昇腾实战派智谱GLM4.5、GLM4.6模型推理性能优化，本文提供量化权重导出方法，使用工具是msmodelslim。
我是有底线的