技术栈
awq量化
一枕槐安487
2 小时前
fastapi
·
qwen
·
vllm
·
流式推理
·
openai兼容api
·
awq量化
Qwen 通义千问本地部署与推理服务封装
摘要 解决 Qwen 模型本地部署中推理吞吐不足、服务层缺失鉴权与并发控制的问题。适用于需在内网环境提供 OpenAI 兼容接口的后端与算法工程师。读完可获得基于 vLLM + FastAPI 从模型加载、量化选型到流式代理的生产级封装链路。
我是有底线的