【CUDA编程入门⑧】性能分析工具链：Nsight、Profiler与Roofline模型

【CUDA编程入门⑧】性能分析工具链：Nsight、Profiler与Roofline模型

本文是「CUDA编程与HPC高性能计算」系列的第八篇。性能优化不能靠猜，得靠数据------这是HPC工程师的基本素养。CUDA领域有一套成熟的性能分析工具链，从系统级到kernel级、从CPU-GPU交互到指令级，层层递进。本文带你认识最核心的几个工具：Nsight Systems、Nsight Compute、PyTorch Profiler，以及性能分析的"指南针"------Roofline模型。

---

一、写在前面：先profile，再优化

我反复强调一句话：先profile，再优化。

为什么？因为人的直觉往往是错的：

• 你以为是计算慢，结果是数据搬运慢
• 你以为是某个算子慢，结果是CPU launch开销大
• 你以为是GPU慢，结果是CPU预处理拖后腿

不做profile就优化，就像医生不做检查就开药------大概率治不对。

HPC工程师的工作流应该是这样的：

1. profile找瓶颈 → 2. 分析原因 → 3. 做优化 → 4. 再profile验证效果

今天我们就来聊聊"找瓶颈"用的工具们。

先上一张工具链全景图：

---

二、Nsight Systems：看全局的"望远镜"

2.1 定位：系统级时间线分析

Nsight Systems（简称nsys）是系统级的性能分析工具。

它关注的是整体流程：

• CPU上各个线程在干什么
• CUDA kernel什么时候启动、什么时候结束
• 内存拷贝（Host→Device、Device→Host）花了多久
• Stream和Event的同步情况
• NCCL通信的时间线

一句话：nsys帮你看"全局时间线"，找出GPU为什么有空隙、时间都花在哪了。

2.2 怎么用

录制数据：

nsys profile -o report ./your_program

查看结果：

nsys-ui report.nsys-rep   # GUI方式
nsys stats report.nsys-rep  # 命令行统计

2.3 典型分析场景

打开nsys的GUI，你会看到一条时间轴，上面有：

• CPU线程的活动
• CUDA API的调用
• 各个Stream上的kernel
• 内存拷贝（memcpy）

常见问题怎么看：

现象	可能的原因	优化方向
GPU上kernel之间有很多空隙	CPU launch太慢 / 有同步点 / 在等内存拷贝	优化launch / 用stream并发 / 减少同步
大量H2D/D2H拷贝	数据搬运太频繁	减少搬运 / 批量搬运 / 用pinned内存
CPU上某个函数占了很长时间	CPU预处理/后处理太慢	优化CPU代码 / 移到GPU上
kernel排得很满，但总时间还是长	单个kernel慢 / 算子太多	用ncu深挖单个kernel / 算子融合

2.4 关键指标

• CPU call stack：哪些CPU函数在launch kernel
• CUDA API timeline：cudaLaunchKernel、cudaMemcpy、cudaStreamSynchronize各花了多久
• GPU busy gap：GPU空闲的时间段------这是最值得优化的地方

💡 使用顺序：性能优化第一步，永远先用nsys看全局。搞清楚时间花在哪了，再决定下一步用什么工具。

---

三、Nsight Compute：抠细节的"手术刀"

3.1 定位：单个Kernel深度分析

Nsight Compute（简称ncu）是kernel级的性能分析工具。

如果说nsys是"望远镜"，ncu就是"显微镜"------它钻到单个kernel里面，告诉你：

• 显存带宽利用率多少
• 计算单元利用率多少
• Occupancy（占用率）多少
• 寄存器压力大不大
• 共享内存有没有bank conflict
• Warp stall（停顿）的原因是什么

3.2 怎么用

# profile整个程序，记录所有kernel
ncu -o profile ./your_program

# 只profile特定的kernel
ncu --set full -k kernel_name ./your_program

# 用GUI查看
ncu-ui profile.ncu-rep

3.3 SOL面板：判断瓶颈的第一站

SOL（Speed Of Light）面板是ncu最核心的面板，它告诉你kernel离理论峰值有多远：

指标	含义
Memory SOL	显存带宽利用率（实际/峰值）
Compute SOL	计算单元利用率（实际/峰值）
SM SOL	SM整体利用率

怎么解读：

• Memory SOL高，Compute SOL低 → memory-bound（访存瓶颈）

  • 优化方向：合并访问、共享内存预取、减少数据搬运

• Compute SOL高，Memory SOL低 → compute-bound（计算瓶颈）

  • 优化方向：更多FMA、用Tensor Core、减少分支

• 都低 → 那可能是其他瓶颈（比如launch开销、同步太多、Occupancy太低）

🎯 记住：打开ncu先看SOL面板------一秒钟判断是memory-bound还是compute-bound，然后对症下药。

3.4 常用Metrics（指标）

ncu可以查看的指标非常多，常用的有：

ncu --metrics \
  sm__throughput.avg.pct_of_peak_sustained_elapsed, \
  dram__throughput.avg.pct_of_peak_sustained_elapsed, \
  l1tex__t_sectors_pipe_lsu_mem_global_op_ld.sum, \
  smsp__warps_active.avg.pct_of_peak_sustained_elapsed \
  ./your_program

分别对应：

• SM吞吐量（整体利用率）
• DRAM吞吐量（显存带宽利用率）
• 全局内存加载的sector数
• 活跃Warp比例（Occupancy相关）

指标太多了，刚开始学不用记------需要的时候查就行。

---

四、PyTorch Profiler：Python层的热点分析

4.1 定位：PyTorch层面的性能分析

如果你在用PyTorch，nsys和ncu虽然强大，但它们看到的是底层的CUDA kernel------你不知道这些kernel对应PyTorch里的哪个算子、哪段代码。

这时候就需要PyTorch Profiler------它能告诉你PyTorch层面的热点：

• 哪些算子（aten::xxx）耗时最长
• CPU时间和GPU时间各是多少
• 内存分配情况

4.2 怎么用

from torch.profiler import profile, ProfilerActivity

with profile(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA]) as prof:
    model(input)

# 打印表格，按CUDA时间排序
print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10))

# 导出Chrome Trace，可以在浏览器里看火焰图
prof.export_chrome_trace("trace.json")

4.3 怎么解读

输出的表格里，关键几列：

• cpu_time_total：CPU总时间
• cuda_time_total：CUDA总时间
• self_cuda_memory_usage：自身的显存占用

常见分析思路：

1. 先看cuda_time_total最高的几个算子------这是GPU上最耗时的
2. 再看cpu_time_total远大于cuda_time_total的------说明CPU在拖后腿
3. 看看有没有奇怪的小算子特别多------可能是fusion的机会

PyTorch Profiler的好处是：能和你的Python代码对应起来------你知道"时间花在了模型的哪一层、哪个操作上"。

---

五、Roofline模型：性能分析的"指南针"

5.1 什么是Roofline模型？

Roofline模型是一个非常经典的性能分析模型，用两条线描述硬件的性能上限：

性能（FLOPS）
  ↑
  │        ┌─────────────  计算上限（Compute Roof）
  │       /
  │      /
  │     /  ← 斜率 = 显存带宽
  │    /
  │   /
  │  /
  └────────────────────→ 算术强度（FLOPs/Byte）
         ↑
       拐点

• 内存带宽线（Memory Bandwidth Roof）：y = 带宽 × 计算强度------斜率就是显存带宽
• 计算峰值线（Compute Peak Roof）：y = 峰值算力------水平线

两条线合起来像个"屋顶"，所以叫Roofline（屋顶线）模型。

5.2 怎么用Roofline判断瓶颈

一个kernel在图上的位置，由它的算术强度决定：

算术强度 = FLOPs / 访存字节数（每读1字节数据，做多少次运算）

• 算术强度 < 拐点 → 在斜线上 → memory-bound（带宽瓶颈）
• 算术强度 > 拐点 → 在水平线上 → compute-bound（计算瓶颈）

拐点怎么算？

拐点 = 峰值算力 / 峰值带宽

比如A100：

• 峰值算力（FP16 Tensor Core）：312 TFLOPS
• 峰值带宽：2.0 TB/s
• 拐点 = 312 / 2 = 156 FLOPs/Byte

也就是说：

• 算术强度 < 156 FLOPs/Byte → memory-bound
• 算术强度 > 156 FLOPs/Byte → compute-bound

5.3 实战：用Roofline分析SGEMM

以SGEMM（FP32）为例：

• 计算量 = 2 × M × N × K
• 访存量 ≈ (M×K + K×N + M×N) × 4字节
• 算术强度 = 2MNK / 4(MK + KN + MN)

当M=N=K=4096时：

• 算术强度 ≈ 2×4096³ / 4×3×4096² = 4096/6 ≈ 683 FLOPs/Byte
• 远大于拐点156 → compute-bound

这和我们的认知一致------大GEMM是计算密集型的。

5.4 Roofline的意义

Roofline模型最大的价值是：在写代码之前，就能大概判断优化方向。

不用跑profile，光靠公式算一算算术强度，就知道：

• 这个kernel大概率是带宽瓶颈还是计算瓶颈
• 应该从访存优化入手还是计算优化入手

这是设计阶段的快速判断工具------非常实用。

💡 当然，Roofline只是理论模型------实际性能还要看具体实现、Occupancy、bank conflict、同步等等。但作为"第一判断"，它非常准。

---

六、工具使用的"正确姿势"

最后，给大家一个工具使用的决策流程：

程序慢？
  │
  ├─ 第一步：PyTorch Profiler（如果用PyTorch）
  │    → 找出最耗时的算子/层
  │
  ├─ 第二步：Nsight Systems
  │    → 看全局时间线
  │    → GPU空隙多不多？CPU/GPU时间比例？
  │    → 定位到是哪个kernel慢 / 是不是CPU瓶颈
  │
  └─ 第三步：Nsight Compute
       → 钻进慢的kernel里
       → 看SOL面板：是memory-bound还是compute-bound？
       → 看具体指标：Occupancy？bank conflict？寄存器压力？

从粗到细，从全局到局部，层层递进。

不要一上来就开ncu看半天------你连哪个kernel是瓶颈都不知道，看了也白看。

---

七、常见误区

误区一：nsys和ncu二选一

两者是互补关系，不是替代关系：

• nsys看全局时序和CPU-GPU交互
• ncu看单个kernel内部细节

标准流程：先用nsys定位慢的kernel，再用ncu下钻分析。

误区二：Memory SOL 100%就是最优

Memory SOL 100%只说明带宽打满了------但这不一定是好事。

如果你的kernel本可以是compute-bound（比如GEMM），结果因为算法设计不好导致memory-bound------那说明算法有问题，还有很大优化空间。

误区三：Roofline只是理论值，没用

Roofline确实是理论模型，但它是"设计阶段的指南针"------在动手写代码之前，先算算算术强度，大概知道优化方向，能少走很多弯路。

---

八、总结一下

今天这篇文章，我们讲了HPC性能分析的核心工具链：

1. Nsight Systems：系统级时间线分析------看全局、找空隙、定位瓶颈
2. Nsight Compute：单个kernel深度剖析------SOL面板判断bound类型，详细指标找原因
3. PyTorch Profiler：Python/PyTorch层的热点分析------和代码对应，快速定位
4. Roofline模型：理论分析工具------算算术强度，提前判断优化方向

记住这个工作流：从粗到细，从全局到局部，先profile再优化。

下一篇预告：我们来认识一个"改变游戏规则"的工具------Triton。不用写CUDA C++，用Python也能写出高性能GPU kernel？Triton是怎么做到的？它和手写CUDA比怎么样？

---

📚 本系列导航：

• 第1篇：CUDA编程体系全景：线程模型、内存层次与Warp执行机制
• 第2篇：CUDA性能优化基础：内存访问、Warp Shuffle与Occupancy调优
• 第3篇：经典算子实战：Reduce归约------从朴素到高性能
• 第4篇：经典算子实战：GEMM矩阵乘法------从Tiling分块到Tensor Core加速
• 第5篇：Attention算子：从FlashAttention到PagedAttention的演进之路
• 第6篇：CPU多线程并行优化：OpenMP、NUMA与SIMD向量化
• 第7篇：HPC算子开发实战：从优化方法论到业务落地
• 第8篇：性能分析工具链：Nsight、Profiler与Roofline模型（本文）
• 第9篇：Triton编程实战：用Python写高性能GPU Kernel
• 更多内容持续更新中......