在 LLM 性能分析中,平均值、P50、P95 能告诉我们整体水平,但有时更重要的问题是:
每一个请求到底跑得怎么样?
Strip Plot 和 Swarm Plot 都可以把每个请求直接画成一个点,特别适合观察性能离散程度、慢请求和不同实验组之间的真实差异。
Strip Plot:快速看到每一个请求
Strip Plot 会把每个请求画成一个散点。
下面以不同并发下的输出 Token 速率为例:

图中:
- 每个点代表一次请求;
- 纵轴越高,输出 Token 速率越快;
- 横向轻微抖动只是为了减少点重叠;
- 横线表示该组请求的中位数。
可以看到,随着并发从 8 增加到 64:
- 中位 TPS 持续下降;
- 请求之间的性能差异变大;
- 慢请求明显增多。
Strip Plot 的优势是简单直接:
统计指标看整体,Strip Plot 看每一个请求。
Swarm Plot:进一步减少点重叠
Strip Plot 的问题是,当很多请求性能接近时,散点仍然会互相遮挡。
Swarm Plot 会根据数据位置,把相近的点自动向左右展开:

因此它除了保留每个请求,还能更直观地看出:
- 哪个性能区间最密集;
- 数据是否分散;
- 是否存在明显慢请求;
- 不同并发之间的分布差异。
例如,并发 8 的请求主要集中在 30~37 tok/s,而并发 64 的分布明显更分散,低速请求也更多。
Strip Plot 和 Swarm Plot 怎么选?
| Strip Plot | Swarm Plot |
|---|---|
| 随机横向抖动 | 主动避免点重叠 |
| 绘制简单、速度快 | 分布密度更清晰 |
| 适合快速查看原始数据 | 适合更细致观察分布 |
| 样本较多时可能重叠 | 样本过多时会变得拥挤 |
一句话总结
Strip Plot 和 Swarm Plot 都能保留每个数据点的信息,前者适合快速浏览,后者更适合看清数据密集区、离散程度和慢请求。