vllm部署

Nicolas8937 天前
gpt·ollama部署·flashattention·部署问题·vllm部署·gpt-oss·gpt-oss-120b
【大模型实战篇】部署GPT-OSS-120B踩得坑（vllm / ollama等推理框架）之前在《gpt-oss系列模型初探》介绍了GPT-OSS的相关内容，接下来个人尝试做了部署和测试，也遇到一些坑。
Alfred king3 个月前
llm·nlp·vllm部署
华为昇腾910B通过vllm部署InternVL3-8B教程本文主要借鉴：VLLM部署deepseek，结合自身进行整理auto-dl上选择单卡910B即可，Pytorch框架只有一个CANN版本选择，选这个即可。