聊聊ChatGLM3多用户并发API调用的问题

转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote

背景

目前在公司内部4张A10的GPU服务器上部署了ChatGLM3开源模型;然后部署了官方默认的web_demoapi_demo两种模式;重新设计了前端,支持H5和安卓两个客户端调用。但却发现了不能并发访问的问题。

问题现象

在安卓与H5同时调用ChatGLM的API接口(流式接口)时,其中有一个客户端的返回是正常的,而另一个客户端返回却是乱码(解码后是空数据),同时模型报错。报错内容与问题请看issue


官方回复如下:

后来我测试用多卡部署模型,比如3卡,此时可以支持3个以下的用户调用,但再多就不行了。

问题分析

由于非AI相关科班出身也不是专门做这个的,因此一下子还有点棘手;后来在智谱AI开放平台的使用指南-速率限制指南 一文中,发现其支持并发调用,只是说有并发数限制。因此我分析来说,应该是放出来的模型与开放平台上的模型有一定的区别,而这个区别就在于模型的并发能力。毕竟外部API调用时,最终还是调用模型内部的流式接口/非流式接口。也就是说,这个模型内部的接口并不支持并行计算。

从模型的内部来说,其是transformer神经网络结构,但其并发能力却没有这么简单,毕竟模型涉及到的计算量是巨大的。归根来说,还是transformer的并行计算能力。

后来找到个遇到同样情况的博文,不过和我们的部署方式还是有区别的。mosec部署chatglm2-6B 一文中分析了下其遇到的问题与解决方案,至此我大概也清楚了并发调用模型API时为什么会返回乱码(空数据)。

原因与解决策略

当并发调用时,其中模型已经处理完了一个request后,返回的tensor识别了eos_token,模型会认为已经处理完了所有的request,因此返回空数据。

那么从这里来说的话,我暂时想到的解决策略:模型内部按batch来处理request。

这个代码不好改,应该有开源的实现和解决策略。后来我又想到了LLaMA-Factory这个微调框架,他们也是有api_demo的,应该也会遇到这样的问题,因此提了个Issue,还好最终有另外的解,见issue

LLaMA-Factory官方通过vllm实现了并发流式,暂时还没验证,简单看了下代码,理论上是冒得问题的:


转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote

首发于个人公众号

相关推荐
HyperAI超神经4 天前
【vLLM 学习】Aqlm 示例
java·开发语言·数据库·人工智能·学习·教程·vllm
人肉推土机10 天前
大模型量化实战:GPTQ与AWQ量化方案对比与部署优化
vllm·gptq·awq·大模型量化
Amor风信子12 天前
【大模型微调】如何解决llamaFactory微调效果与vllm部署效果不一致如何解决
人工智能·学习·vllm
Silence4Allen15 天前
Ubuntu 22.04 AI大模型环境配置及常用工具安装
ubuntu·vllm·ollama·llama-factory·openwebui·lmdeploy
新兴ICT项目支撑16 天前
2台8卡L20服务器集群推理方案
vllm·deepseek r1·sglang·l20·集群推理·roce v2
小草cys17 天前
llama.cpp 和 vLLM 的详细对比分析
大模型·llama·vllm·deepseek
云道轩18 天前
deepseek为采用JAVA重构模型运营平台vLLM和SGLang指定的计划
java·vllm·deepseek·sglang
Jackilina_Stone19 天前
【大语言模型推理框架】VLLM
人工智能·语言模型·vllm
风格lu2 个月前
基于Kubernetes分布式部署DeepSeek-R1(在线快速版)
分布式·容器·kubernetes·vllm·deepseek
kcarly2 个月前
vllm的使用方式,入门教程
大模型·vllm