glm-4.7-flash本地部署

本地环境情况:

GPU:4090(48GB)* 2

RAM:512GB

使用docker运行多个模型实例,目标为了显存的复用

使用的镜像

vllm/vllm-openai:nightly

运行命令:

nginx 复制代码
docker run -d --name glm-4.7-flash-vllm \
  --gpus '"device=0,1"' \
  -v /home/ls/.cache/modelscope/hub/models/ZhipuAI/GLM-4.7-Flash:/app/models \
  --ipc=host \
  -p 8003:8000 \
  vllm/vllm-openai:nightly \
  --model /app/models \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.95 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 1 \
  --tool-call-parser glm47 \
  --reasoning-parser glm45 \
  --enable-auto-tool-choice \
  --max-model-len=32768 \
  --max_num_seqs=8 \
  --served-model-name glm-4.7-flash

不出意外肯定要报错了:

(APIServer pid=1) You can update Transformers with the command pip install --upgrade transformers. If this does not work, and the checkpoint is very new, then there may not be a release version that supports this model yet. In this case, you can get the most up-to-date code by installing Transformers from source with the command pip install git+https://github.com/huggingface/transformers.git type=value_error, input_value=ArgsKwargs((), {'model': ...rocessor_plugin': None}), input_type=ArgsKwargs

(APIServer pid=1) For further information visit https://errors.pydantic.dev/2.12/v/value_error

意思是:nightly预览版里面的transformers的版本还是太低了。。。

升级transformers版本
  1. 构建本地docker镜像
nginx 复制代码
mkdir -p ~/vllm-glm47 && cd ~/vllm-glm47

cat > Dockerfile << 'EOF'
FROM vllm/vllm-openai:nightly

RUN pip install --upgrade transformers accelerate -q

ENTRYPOINT ["python3", "-m", "vllm.entrypoints.openai.api_server"]
EOF

docker build -t vllm-glm47:latest .
  1. 运行命令改成:
nginx 复制代码
docker run -d --name glm-4.7-flash-vllm \
  --gpus '"device=0,1"' \
  -v /home/ls/.cache/modelscope/hub/models/ZhipuAI/GLM-4.7-Flash:/app/models \
  --ipc=host \
  -p 8003:8000 \
  vllm-glm47:latest \
  --model /app/models \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.95 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 1 \
  --tool-call-parser glm47 \
  --reasoning-parser glm45 \
  --enable-auto-tool-choice \
  --max-model-len=32768 \
  --max_num_seqs=8 \
  --served-model-name glm-4.7-flash
  1. 当然如果想在docker bash升级测试也可以
nginx 复制代码
# 0. 进入bash环境
docker run -it --rm \
  --gpus '"device=1"' \
  -v /home/ls/.cache/modelscope/hub/models/ZhipuAI/GLM-4.7-Flash:/app/models \
  --ipc=host \
  -p 8003:8000 \
  --entrypoint /bin/bash \
  vllm/vllm-openai:nightly



# 1. 升级依赖
pip install --upgrade transformers accelerate

# 2. 验证版本
python -c "import transformers; print(transformers.__version__)"

# 3. 手动启动服务
python -m vllm.entrypoints.openai.api_server \
  --model /app/models \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 1 \
  --tool-call-parser glm47 \
  --reasoning-parser glm45 \
  --enable-auto-tool-choice \
  --max-model-len=32768 \
  --max_num_seqs=8 \
  --served-model-name glm-4.7-flash

如果运行爆显存

调整相关参数:--max-model-len=32768、--max_num_seqs=8

相关推荐
AI算力9 小时前
企业调研——工业边缘计算隐形黑马,腾视科技以“硬件+算法”加速出海落地!
人工智能·ai·边缘计算·ai算力·无人叉车·物理ai·ainas
真上帝的左手13 小时前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
七夜zippoe1 天前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
装不满的克莱因瓶1 天前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
七夜zippoe2 天前
多轮对话管理:Session/记忆在 Java 后端怎么存(存储设计实战)
java·开发语言·ai·session·记忆
吴名氏.2 天前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
小七-七牛开发者2 天前
周 1 上线 | DSH 喜提原神进场动画,Anthropic 启动 IPO 路演;黄仁勋辞任;微软全球大宕机超 24 小时
ai·大模型·agent·token·工作流·claudecode·ai coding
GISer_Jing2 天前
GitHub热点I
后端·ai·langchain
QuZhengRong2 天前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
梯度下降者2 天前
让AI的“隐形思维“也能越练越强,这项突破或将重写推理效率的边界
ai·强化学习·潜在推理·代理概率·停止门