NCCL 中的一些辅助debug 知识点

1,调试nccl 启动kernel的方法

ncclLaunchKernel

cuLaunchKernelEx

ncclStrongStreamLaunchKernel

cudaLaunchKernel

ncclLaunchOneRank

cudaLaunchKernel

在 nccl lib 中,不存在使用<<<grid, block,,>>> 这种类似方式启动kernel的情景。

gdb ./example_test

(gdb) b ncclLaunchKernel

(gdb) c

(gdb) backtrace

2,

未完待续。。。

相关推荐
gwf2167 天前
AI集群RDMA网络架构总览:从Scale-Out到多平面
rdma·nccl·scaleout·rocev2·ai集群·rnic·gpudirect
Albart57512 天前
vLLM多卡部署终极踩坑:CUDA error worker进程异常退出 完整定位&生产根治方案
cuda·nccl·vllm·大模型部署·多卡推理·大模型踩坑
Aethir20 天前
去中心化GPU云底层是怎么搭的——去中心化云算力全景·第二章:技术架构
架构·分布式训练·infiniband·nccl·gpu集群·液冷散热
haimin03713 个月前
nccl-tests测试报告的性能指标
nccl
Soonyang Zhang3 个月前
nccl分析(三)——GPU-Initiated Networking(gin)数据发送过程分析
gin·nccl
Soonyang Zhang3 个月前
nccl分析(二)——RDMA带外建链过程
网络·nccl·集合通信
数据与后端架构提升之路4 个月前
你的 GPU 为什么只能跑 20%?大模型训练通信瓶颈的四层排查 SOP
nccl·训练通信
d1z8885 个月前
NCCL 测试完全指南:从概念到性能调优
gpu·nvidia·nccl
int WINGsssss5 个月前
NCCL工作流程分析&&NCCL源码解读
nccl·ai infra·集合通信库·我爱吃烤肉