框架评估 - 框架评估技术,学习,经验文章

AIGC_北苏

7 小时前

EvalScope模型压力测试实战实际生产中，我们成功在服务器上部署好了模型，可能是量化的，也可能是非量化的模型。比如使用vllm,ollama,llama.cpp等推理框架部署模型后，在日志中只能看到简单平均生成token的速度，如果是并发之类的，可能需要手动写代码进行测试，分析指标，整个过程还是挺麻烦的，本篇文章将介绍一个开源的模型压力测试工具，更好地解决我们的问题。