向vllm部署的qwen3服务发送请求时禁用thinking模式

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{

"model": "Qwen/Qwen3-8B",

"messages": [

{"role": "user", "content": "Give me a short introduction to large language models."}

],

"temperature": 0.7,

"top_p": 0.8,

"top_k": 20,

"max_tokens": 8192,

"presence_penalty": 1.5,

"chat_template_kwargs": {"enable_thinking": false}

}'

参考链接

相关推荐
智码看视界2 天前
开源大模型追踪:腾讯混元Hy4preview,FP8 770GB 落地企业私有化,Apache 2.0 无字段限制
开源·vllm·开源大模型·apache2.0·fp8量化·腾讯混元hy4·agent推理
仙人掌_lz3 天前
3090 上的部署两种基于Qwen3.5-4B 判别模型open jev:llama.cpp和 vLLM ,谁更快、谁更准
人工智能·llm·llama·vllm·判别模型·jev
Είναι η κοπέλα3 天前
开源推理引擎怎么选:vLLM、SGLang、Ollama、llama.cpp 的机制与部署
开源·vllm·sglang
程序员清风4 天前
vLLM 实战:用 OpenAI 兼容接口部署本地大模型推理服务
开源·github·vllm
程序猿编码4 天前
C++/CUDA 手写 LLM 推理引擎:拆解 vLLM 核心 PagedAttention 与连续批处理
开发语言·c++·深度学习·神经网络·推理·vllm
谢白羽4 天前
对比DP8+EP与TP8在DS MoE部署性能
llm·vllm·大模型部署·sglang
可乐ea4 天前
vLLM 支持无失真文本水印了:Gumbel-max 是怎么混进采样管线的
vllm·llm应用开发·采样策略·llm水印·gumbelmax
陈 洪 伟10 天前
大模型推理引擎vLLM(39):CUDAGraph模式以及CUDAGraphWrapper和BreakableCUDAGraphWrapper问题整理
vllm
论文复现现场10 天前
A100 跑 Qwen3.8-27B,FP8 还是 INT8?显存、速度、精度与微调兼容性怎么选
模型量化·vllm·a100·大模型部署·int8·fp8·qwen3.8
Zhu75810 天前
docker环境,vLLM 部署 Qwen3.8-27B
docker·qwen·vllm