openclaw vllm 20260312

赠送14M的token用完了,打算vllm部署Qwen来跑一跑openclaw

1,起vllm服务

vllm doc

sh 复制代码
CUDA_VISIBLE_DEVICES=0,1 python -m vllm.entrypoints.openai.api_server \
	--model Qwen3-32B \
	--served-model-name qwen3-32b \
	--tensor-parallel-size 2 \
	--enable-auto-tool-choice \
    --tool-call-parser hermes \
	--port 50072

2,openclaw配置vllm的provider

openclaw onboard配置一下provider,url:http://ip:50072/v1, 模型名qwen3-32b,apiKey随便填一个

就能调自己的vllm服务了,可以随便测,不用担心tokens;

问题

  1. 如何停止vllm服务,换个模型重启?不能直接kill,如下重启:

    sh 复制代码
    pkill -15 -f vllm.entrypoints.openai.api_server
    # 等gpu显存退了
    pkill -9 -f vllm
  2. tool parser,vllm起服务名字中,需要加上tool相关参数,因为这边基本是要tool能力的。

  3. max_model_len参数不需要设置,因为默认用模型config.json中max_position_embeddings,超过它的话又会报错。

  4. qwen3-32b,长度太短,40960,聊一轮就报长度超了,没法用在openclaw中。

  5. qwen3-vl-32b-instruct的max_position_embeddings=26w,够用了;但是效果不行,一直在读文件,停不下来;虽然qwen3-vl用了图片视频以及长文本,但真正的长文本能力应该比较弱;

  6. 另外,在docker中装的openclaw,在docker里面,只能前台运行"openclaw gateway"。

  7. qwen3-vl-32b-thinking,思考太长了,费token费时间,再测测。

相关推荐
缘友一世1 天前
模型部署推理框架[3]:引擎启动参数
vllm
缘友一世1 天前
模型部署推理框架[2]:总体架构和Docker部署实战
vllm
前进的李工5 天前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
爱笑的k118 天前
nano-vllm 源码剖析:千行 Python 手写离线推理引擎的调度、显存与并行时序
开发语言·python·vllm
code2cat12 天前
【随笔】推理准入控制:请求进来之前,先给KV缓存留出位置
缓存·大语言模型·vllm
code2cat17 天前
【随笔】连续批处理:长短请求怎样在迭代之间补位
java·人工智能·后端·大语言模型·vllm
一枕槐安48718 天前
Qwen 通义千问本地部署与推理服务封装
fastapi·qwen·vllm·流式推理·openai兼容api·awq量化
mumu15718 天前
快速上手大模型推理vllm
人工智能·python·大语言模型·agent·vllm
code2cat19 天前
【随笔】vLLM前缀缓存:相同的开头怎样少算一次
人工智能·python·缓存·vllm
xzlAwin22 天前
Win10 安装OpenClaw 龙虾
ai·openclaw·龙虾