技术栈
perf_analyzer
修炼之路
1 年前
tirtionserver
·
perf_analyzer
·
model-analyzer
使用perf_analyzer和model-analyzer测试tritonserver的模型性能超详细完整版
当我们在使用tritonserver部署模型之后,通常需要测试一下模型的服务QPS的能力,也就是1s我们的模型能处理多少的请求,也被称为吞吐量。