技术栈
tirtionserver
修炼之路
1 年前
tirtionserver
·
perf_analyzer
·
model-analyzer
使用perf_analyzer和model-analyzer测试tritonserver的模型性能超详细完整版
当我们在使用tritonserver部署模型之后，通常需要测试一下模型的服务QPS的能力，也就是1s我们的模型能处理多少的请求，也被称为吞吐量。