NCCL 中的一些辅助debug 知识点

1,调试nccl 启动kernel的方法

ncclLaunchKernel

cuLaunchKernelEx

ncclStrongStreamLaunchKernel

cudaLaunchKernel

ncclLaunchOneRank

cudaLaunchKernel

在 nccl lib 中,不存在使用<<<grid, block,,>>> 这种类似方式启动kernel的情景。

gdb ./example_test

(gdb) b ncclLaunchKernel

(gdb) c

(gdb) backtrace

2,

未完待续。。。

相关推荐
数据与后端架构提升之路12 天前
你的 GPU 为什么只能跑 20%?大模型训练通信瓶颈的四层排查 SOP
nccl·训练通信
d1z8881 个月前
NCCL 测试完全指南:从概念到性能调优
gpu·nvidia·nccl
int WINGsssss1 个月前
NCCL工作流程分析&&NCCL源码解读
nccl·ai infra·集合通信库·我爱吃烤肉
KIDGINBROOK1 个月前
NVIDIA NCCL 源码学习(十七)- LL和LL128协议
cuda·rdma·nccl
bandaoyu2 个月前
【NVSHMEM】PCIe 距离类型(PIX,PXB,PHB,NOD,SYS)和判断
nccl·rccl·nvshmem
三点水-here3 个月前
04 - 分布式大模型推理实战:TP/PP/EP并行策略深度解析
分布式·rdma·nccl·moe·流水线并行·张量并行·专家并行
容沁风4 个月前
lk_llama.cpp启用nccl
nccl·v100·lk_llama.cpp
predawnlove4 个月前
【NCCL】8 PAT AllGather 设备端实现详解3
nccl·通信库
predawnlove4 个月前
【NCCL】4 AllGather-PAT算法
算法·gpu·nccl
predawnlove4 个月前
【NCCL】5 GPU 间链路 Preconnect 机制
gpu·nccl