model-analyzer - model-analyzer技术,学习,经验文章

修炼之路

2 年前

使用perf_analyzer和model-analyzer测试tritonserver的模型性能超详细完整版当我们在使用tritonserver部署模型之后，通常需要测试一下模型的服务QPS的能力，也就是1s我们的模型能处理多少的请求，也被称为吞吐量。