Qwen3-32B报错Invalid json output:{“type“: “1“}For troubleshooting, visit

vllm版本0.9.1

启动大模型没有添加--reasoning-parser qwen3参数

完整启动命令参考:

vllm serve /大模型路径/Qwen3-32B \

--served-model-name Qwen3-32B \

--host 0.0.0.0 \

--port 8001 \

--dtype float16 \

--tensor-parallel-size 1 \

--max-model-len 32768 \

--reasoning-parser qwen3 \

--enable-auto-tool-choice \

--tool-call-parser hermes

相关推荐
Token炼金师3 小时前
服务的骨架:网关、负载均衡、容灾、弹性与多机房 —— 推理系统架构五柱
人工智能·系统架构·llm·负载均衡·容灾·kv cache·prefix cache
程序员cxuan3 小时前
OceanBase 为什么要做 AI 数据库?
数据库·人工智能·大模型·llm·oceanbase
掉鱼的猫4 小时前
代码审查 Agent Harness 实战:AI 自动 Code Review
java·llm·agent
Token炼金师4 小时前
工程基础设施层:MLOps闭环断裂让模型上线即裸奔
人工智能·深度学习·llm
先吃饱再说4 小时前
手写一个 mini-cursor:LangChain Agent 开发完全实战
langchain·llm·agent
chanalbert4 小时前
Agent Skill 工程化指南(三):运行与生效 — 运行时的全链路机制
llm·agent
羞儿5 小时前
llm-algo-8
llm·quantization·flash attention·pagedattention·multi-lora
武子康5 小时前
调查研究-222 PagedAttention 详解:vLLM 如何像操作系统一样管理 KV Cache
人工智能·llm·agent
武子康5 小时前
调查研究-221 KV Cache:LLM 推理服务真正的显存黑洞
人工智能·llm·agent
带刺的坐椅5 小时前
多 Agent 协作实战:任务编排与子代理系统
java·ai·llm·agent·solon·harness