【征程 6 工具链性能分析与优化-1】编译器预估 perf 解读与性能分析

01 引言

本篇文章中,我们将首先介绍 layerdetails 中的参数信息,然后将结合实例分析如何利用 layerdetails 来分析模型的性能瓶颈,进而对模型的性能进行优化。

02 layerdetails 中信息解读

征程 6 工具链目前提供了两种方式生成性能评估报告:

  • 使用hb_compile工具编译模型时会自动生成性能评估报告;
  • 编译出 hbm 模型后,使用编译器提供的 python API hbm_perf生成性能评估报告,这里需要注意,调用 compile 接口编译模型时需要开启 debug 后才能生成 layerdetails。

性能预估报告包括 html 和 json 两个版本,通常看 html 即可。

html 中包括 Summary、Temporal Statistics 和 Layer Details 这 3 个部分,下面将逐一介绍。

2.1 Summary

  1. FPS**( 1 core)**
  2. 在 1 个 BPU 内核上运行时的估计 FPS。
  3. Latency
  4. 编译后的模型推理一次的时间,编译的模型可能包含 batch。
  5. BPU conv original OPs per frame
  6. 原始模型卷积层的计算量。卷积变体(deconv、dilated conv、deformable conv 等)也被计算在内。

2.2 Temporal Statistics

  1. Loaded bytes per frame
  2. 每帧推理 BPU 需要读取 DDR 的字节数。(编译时可能有batch,每帧推理不一定等于每次推理)
  3. Stored bytes per frame
  4. 每帧推理 BPU 需要写入 DDR 的字节数。(编译时可能有batch,每帧推理不一定等于每次推理)
  5. DDR (loaded + stored) bytes per frame:
  6. 每帧推理 BPU 需要读写 DDR 的字节数
  7. DDR bytes per second (for xxx FPS):
  8. 每秒BPU需要读写 DDR 的字节数。

2.3 Layer Details

  1. layer
  2. 原始模型的 layer name。torch 模型没有 layer name,torch 转 hbir 时会自动命名
  3. original ops
  4. 原始 layer 的计算量(包含卷积及其变种)
  5. computing cost( no DDR**)**
  6. 编译后 layer 的时间开销,不包括 DDR 相关的时间开销,但会包含 reorder(数据重排)的开销
  7. load/store cost
  8. 编译后 layer 的 DDR 访问时间开销。对于非模型输入输出的 feature,DDR 访问可能被优化掉。
  9. active period of time
  10. 编译后 layer 活跃时间段。不代表该 layer 的执行时间,通常都是多个 layer 交替/并行执行。

03 性能分析实例

3.1 通用流程

  1. 首先观察 Temporal Statistics 统计图中的曲线:
  2. 观察 computing 曲线是否有波动,带宽瓶颈会引起它的波动
  3. 观察 load&store 柱状图,配合 computing 曲线,判断是否有带宽瓶颈
  4. 然后根据时态统计图中的时间轴,观察在某区间的 layer detail

3.2 实例分析

分析过程

1.观察 computing 曲线是否有波动,带宽瓶颈会引起它的波动:

如上图,此模型的 computing 曲线波动较大,模型可能存在带宽瓶颈。

2.进一步观察 load&store 柱状图,并配合 computing 曲线:

可以看到,图中由多处的 load&store 柱状图高于 computing 曲线,这些地方可能存在了带宽瓶颈。

3.根据时态统计图中的时间轴,观察在某区间的 layer detail:

如上图,标记了 6 处 load&store 柱状图高于 computing 的地方,对应的时间为:

然后根据 layerdetails 的 active period of time 查看以上时间点的对应算子:

  • 标记点 1&标记 2

可以看到引起带宽瓶颈的算子的 Softmax_458_mul、MatMul_459,onnx 模型中对应的子结构为:

  • 标记点 3

可以看到引起带宽瓶颈的算子的 Softmax_765_mul、MatMul_766,onnx 模型中对应的子结构为:

  • 标记点 4

可以看到引起带宽瓶颈的算子的 Softmax_968_mul、MatMul_969,onnx 模型中对应的子结构为:

  • 标记点 5

可以看到引起带宽瓶颈的算子的 Softmax_1171、MatMul_1172,onnx 模型中对应的子结构为:

  • 标记点 6

可以看到引起带宽瓶颈的算子的 Softmax_1374、MatMul_1375,onnx 模型中对应的子结构为:

04 初步结论

综合以上分析结果可知,此模型中引起性能问题的是 Softmax 和 MatMul 算子组成的子结构,在下一篇文章中,我们将介绍模型性能相关的优化策略。

相关推荐
清梦20201 小时前
经典问题---跳跃游戏II(贪心算法)
算法·游戏·贪心算法
Dream_Snowar1 小时前
速通Python 第四节——函数
开发语言·python·算法
Altair澳汰尔2 小时前
数据分析和AI丨知识图谱,AI革命中数据集成和模型构建的关键推动者
人工智能·算法·机器学习·数据分析·知识图谱
A懿轩A2 小时前
C/C++ 数据结构与算法【栈和队列】 栈+队列详细解析【日常学习,考研必备】带图+详细代码
c语言·数据结构·c++·学习·考研·算法·栈和队列
Python机器学习AI2 小时前
分类模型的预测概率解读:3D概率分布可视化的直观呈现
算法·机器学习·分类
吕小明么3 小时前
OpenAI o3 “震撼” 发布后回归技术本身的审视与进一步思考
人工智能·深度学习·算法·aigc·agi
1 9 J3 小时前
数据结构 C/C++(实验五:图)
c语言·数据结构·c++·学习·算法
程序员shen1616113 小时前
抖音短视频saas矩阵源码系统开发所需掌握的技术
java·前端·数据库·python·算法
汝即来归4 小时前
选择排序和冒泡排序;MySQL架构
数据结构·算法·排序算法
咒法师无翅鱼4 小时前
【定理证明工具调研】Coq, Isabelle and Lean.
算法