vllm部署

Alfred king8 小时前
llm·nlp·vllm部署
华为昇腾910B通过vllm部署InternVL3-8B教程本文主要借鉴：VLLM部署deepseek，结合自身进行整理auto-dl上选择单卡910B即可，Pytorch框架只有一个CANN版本选择，选这个即可。