技术栈

NCCL 中的一些辅助debug 知识点

Eloudy2024-07-08 19:45

1,调试nccl 启动kernel的方法

ncclLaunchKernel

cuLaunchKernelEx

ncclStrongStreamLaunchKernel

cudaLaunchKernel

ncclLaunchOneRank

cudaLaunchKernel

在 nccl lib 中,不存在使用<<<grid, block,,>>> 这种类似方式启动kernel的情景。

gdb ./example_test

(gdb) b ncclLaunchKernel

(gdb) c

(gdb) backtrace

2,

未完待续。。。

上一篇:phpcms 升级php8.3.8
下一篇:迭代器模式在金融业务中的应用及其框架实现
相关推荐
caodongwang
2 个月前
【NCCL】transport建立(一)
p2p·rdma·nccl·transport
跑步去兜风
6 个月前
RCCL/NCCL中的Transports方式选择:P2P or SHM or NET
服务器·p2p·nccl·shm·rccl
Hi20240217
1 年前
将数据切分成N份,采用NCCL异步通信,让all_gather+matmul尽量Overlap
pytorch·python·性能优化·分布式训练·nccl·融合算子
Pretend ^^
1 年前
5. PyTorch+NCCL源码编译
pytorch·分布式·gpu算力·nccl
内卷焦虑人士
1 年前
NVIDIA-NCCL下载资源分享,跳过Authenticator验证
gpu算力·nvidia·authenticator·nccl
Pretend ^^
1 年前
2. 多机多卡运行nccl-tests对比分析
网络·分布式·深度学习·nccl·ib·roce
canmoumou
1 年前
【分布式通信】NPKit,NCCL的Profiling工具
人工智能·mpi·nccl
Hi20240217
1 年前
NCCL集合通信算子DEMO及性能测试
分布式·python·nccl
Happy_Enger
1 年前
NCCL源码解析: P2P 连接的建立
nvidia·cuda·nccl
热门推荐
01手机电脑之间快速传输图片视频文件,不压缩画质、不限制大小的方法!02如何将markdown生成pdf03Coze扣子平台完整体验和实践(附国内和国际版对比)04Coze实战第13讲:飞书多维表格读取+豆包生图模型,轻松批量生成短剧封面05鸽了六年的某大厂面试题:你会手写一个模板引擎吗?06扣子(coze)实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解07C#调用WechatOCR.exe实现本地OCR文字识别08《C#图解教程 第5版》深度推荐09DeepSeek各版本说明与优缺点分析10Word粘贴时出现“运行时错误53,文件未找到:MathPage.WLL“的解决方案