技术栈

gpt-oss-120b

Nicolas893
10 小时前
gpt·ollama部署·flashattention·部署问题·vllm部署·gpt-oss·gpt-oss-120b
【大模型实战篇】部署GPT-OSS-120B踩得坑(vllm / ollama等推理框架)之前在《gpt-oss系列模型初探》介绍了GPT-OSS的相关内容,接下来个人尝试做了部署和测试,也遇到一些坑。