NVIDIA CUDA 工具包符号服务器

这篇文章最初发表在 NVIDIA 技术博客上。

NVIDIA 已经提供了 Windows 系统的 GPU 驱动程序二进制符号服务器。现在,NVIDIA 也开始提供 Linux 系统的 CUDA Toolkit 符号。

我们提供什么?

NVIDIA 正在为 Linux 引入 CUDA Toolkit 符号,以增强应用程序开发功能。在应用程序开发过程中,您现在可以下载正在应用程序中调试或分析的 NVIDIA 库的模糊符号。这是 CUDA 驱动程序的初始装运(lib CUDA .so)和 CUDA 运行时(libcudart.so),将添加更多库。

例如,当问题似乎与 CUDA neneneba API 有关时,可能并不总是能够向 NVIDIA 提供具有所有库加载信息的再现示例、核心转储或未同步堆栈跟踪。提供符号化的调用堆栈可以帮助加快调试过程。

我们只是托管符号文件,所以调试数据不会被分发。符号文件包含模糊的符号名称。

快速启动指南

对于每个库,有两种推荐的使用模糊符号的方法:

  • 通过解开库
  • 通过将.sym 文件部署为库的符号文件
bash 复制代码
# Determine the symbol file to fetch and obtain it
$ readelf -n /usr/local/cuda/lib64/libcudart.so

# ... Build ID: 70f26eb93e24216ffc0e93ccd8da31612d277030
# Browse to https://cudatoolkit-symbols.nvidia.com/libcudart.so/70f26eb93e24216ffc0e93ccd8da31612d277030/index.html to determine filename to download
$ wget https://cudatoolkit-symbols.nvidia.com/libcudart.so/70f26eb93e24216ffc0e93ccd8da31612d277030/libcudart.so.12.2.128.sym

# Then with appropriate permissions, either unstrip,
$ eu-unstrip /usr/local/cuda-12.2/targets/x86_64-linux/lib/libcudart.so.12.2.128 libcudart.so.12.2.128.sym --o /usr/local/cuda-12.2/targets/x86_64-linux/lib/libcudart.so.12.2.128

# Or, with appropriate permissions, deploy as symbol file
# By splitting the Build ID into first two characters as directory, then remaining with ".debug" extension
$ cp libcudart.so.12.2.128.sym /usr/lib/debug/.build-id/70/f26eb93e24216ffc0e93ccd8da31612d277030.debug

示例:符号化

这里有一个简化的例子来展示象征的用途。示例应用程序 test_shared 的数据损坏导致将无效句柄传递给 CUDA Runtime API cudaStreamDestroy。默认安装 CUDA Toolkit,并且没有混淆符号,gdb 中的输出可能如下所示:

shell 复制代码
Thread 1 "test_shared" received signal SIGSEGV, Segmentation fault.
0x00007ffff65f9468 in ?? () from /lib/x86_64-linux-gnu/libcuda.so.1
(gdb) bt
#0  0x00007ffff65f9468 in ?? () from /lib/x86_64-linux-gnu/libcuda.so.1
#1  0x00007ffff6657e1f in ?? () from /lib/x86_64-linux-gnu/libcuda.so.1
#2  0x00007ffff6013845 in ?? () from /usr/local/cuda/lib64/libcudart.so.12
#3  0x00007ffff604e698 in cudaStreamDestroy () from /usr/local/cuda/lib64/libcudart.so.12
#4  0x00005555555554e3 in main ()

在以前面描述的方式之一应用模糊符号后,它将提供堆栈跟踪,如以下示例所示:

shell 复制代码
Thread 1 "test_shared" received signal SIGSEGV, Segmentation fault.
0x00007ffff65f9468 in libcuda_8e2eae48ba8eb68460582f76460557784d48a71a () from /lib/x86_64-linux-gnu/libcuda.so.1
(gdb) bt
#0  0x00007ffff65f9468 in libcuda_8e2eae48ba8eb68460582f76460557784d48a71a () from /lib/x86_64-linux-gnu/libcuda.so.1
#1  0x00007ffff6657e1f in libcuda_10c0735c5053f532d0a8bdb0959e754c2e7a4e3d () from /lib/x86_64-linux-gnu/libcuda.so.1
#2  0x00007ffff6013845 in libcudart_43d9a0d553511aed66b6c644856e24b360d81d0c () from /usr/local/cuda/lib64/libcudart.so.12
#3  0x00007ffff604e698 in cudaStreamDestroy () from /usr/local/cuda/lib64/libcudart.so.12
#4  0x00005555555554e3 in main ()

符号化的调用堆栈可以作为提供给 NVIDIA 进行分析的错误描述的一部分进行记录。

结论

当您必须使用 CUDA 来评测和调试应用程序,并且希望与 NVIDIA 共享一个调用堆栈进行分析时,请使用 CUDA 符号服务器。分析和调试将更快更容易。

如果您有任何疑问,请访问 开发者工具论坛。

阅读原文

相关推荐
wangruofeng4 天前
黄仁勋辞去英伟达 CEO,结束 33 年掌舵生涯
aigc·ai编程·nvidia
蝌蝌8 天前
DGX Spark 首启翻车实录:一次初始化失败与被迫重装的复盘
nvidia·故障排查·复盘·ai基础设施·dgx spark
Vex2une12 天前
DLSS 5 2027 路线图前瞻:游戏阵容、硬件适配与技术迭代全预测
nvidia·神经渲染·dlss5·游戏适配·技术迭代·rtx 40系·rtx remix
小哈里14 天前
【推理】NVIDIA DLI培训:大规模部署与优化 AI 推理(推理原理,K8S,网关层,pd分离,MoE,Dynamo)
人工智能·容器·kubernetes·nvidia·推理
wei_shuo22 天前
GR00T N1 深度观察:当机器人行业开始谈论“基础模型“——88 小时数据家底、三道行业难题,与 NVIDIA 给出的第一个通用人形解法
nvidia·启元机器人·gr00t n1
Vex2une22 天前
异构双卡渲染避坑指南:AMD+NVIDIA混合架构下的DLSS 5适配与性能调优实战
nvidia·amd·vulkan·ai渲染·dlss5·异构双卡·dx12
the3clipse22 天前
DLSS5 Swapper 获取及使用教程:5分钟一键开启游戏神经渲染
nvidia·神经渲染·dlss5·dlss5 swapper·游戏画质优化·reshade·renodx
本地化文档24 天前
cutile-rs-book-l10n
rust·gpu·nvidia·cuda·sphinx·crowdin
撞强25 天前
Unraid 7.3.2 下 NVIDIA 显卡风扇转速调整维护文档
nvidia·xorg·unraid·fan
张张123y25 天前
120B 模型单卡跑起来?拆解 Nemotron 3.5 的压缩三板斧与本地智能体部署
nvidia·模型量化·本地部署·ai agent·nemotron