NCCL 中的一些辅助debug 知识点

1,调试nccl 启动kernel的方法

ncclLaunchKernel

cuLaunchKernelEx

ncclStrongStreamLaunchKernel

cudaLaunchKernel

ncclLaunchOneRank

cudaLaunchKernel

在 nccl lib 中,不存在使用<<<grid, block,,>>> 这种类似方式启动kernel的情景。

gdb ./example_test

(gdb) b ncclLaunchKernel

(gdb) c

(gdb) backtrace

2,

未完待续。。。

相关推荐
Aethir3 小时前
去中心化GPU云底层是怎么搭的——去中心化云算力全景·第二章:技术架构
架构·分布式训练·infiniband·nccl·gpu集群·液冷散热
haimin03712 个月前
nccl-tests测试报告的性能指标
nccl
Soonyang Zhang3 个月前
nccl分析(三)——GPU-Initiated Networking(gin)数据发送过程分析
gin·nccl
Soonyang Zhang3 个月前
nccl分析(二)——RDMA带外建链过程
网络·nccl·集合通信
数据与后端架构提升之路4 个月前
你的 GPU 为什么只能跑 20%?大模型训练通信瓶颈的四层排查 SOP
nccl·训练通信
d1z8884 个月前
NCCL 测试完全指南:从概念到性能调优
gpu·nvidia·nccl
int WINGsssss4 个月前
NCCL工作流程分析&&NCCL源码解读
nccl·ai infra·集合通信库·我爱吃烤肉
KIDGINBROOK5 个月前
NVIDIA NCCL 源码学习(十七)- LL和LL128协议
cuda·rdma·nccl
bandaoyu5 个月前
【NVSHMEM】PCIe 距离类型(PIX,PXB,PHB,NOD,SYS)和判断
nccl·rccl·nvshmem