双机双卡训练yolov5(yolov5+pytorch+DDP+NCCL+RDMA全栈解析)

重点关注问题:

1、nvidia-smi topo -m 是怎么获取topo结构的?调用了什么api?

2、以下接口有什么用,怎么实现的?

nvmlDeveiceGetNvLinkVersion

nvmlDeveiceGetNvLinkCapability

nvmlDeveiceGetNvLinkState

nvmlDeveiceGetNvLinkErrorCounter

nvmlDeveiceResetNvLinkErrorCounters

nvmlDeveiceGetNvLinkRemotePciInfo

nvmlDeveiceGetP2PStatus

3、单机单进程P2P场景使用一下接口,具体有什么用,怎么实现的?

cudaDeviceCanAccessPeer

cudaDeviceEnablePeerAccess

cudaMemcpyPeer

4、以下是单机多进程P2P,具体有什么用,怎么实现的?

cudaIpcGetMemHandle

cudaIpcOpenMemHandle

cudaIpcCloseMemHandle

cudaIpcGetEventHandle

cudaIpcOpenEventHandle

5、NCCL是怎么获取topo结构的?

6、NCCL通过nvml获取本地拓扑,多机拓扑是怎么获取的呢?

7、pytorch如何调用DDP?

8、DDP如何调用NCCP?

9、NCCL如何调用RDMA?

10、怎么理解RING和TREE?

相关推荐
极客互动API8 小时前
企业微信 iPad 协议服务搭建与 AI 回调实战
网络·汇编·人工智能·微信·企业微信·ipad
空堂与归8 小时前
token畅享?FreeToken单卡5090跑满血DeepSeek_V4Flash
人工智能·free token
AI码农小姐姐8 小时前
AI漫剧用什么软件制作?知漫剧小说导入成片教程
人工智能
ycjunhua8 小时前
Spring AI 2.0 GA:ToolCallingAdvisor 重构与 Java Agent 新范式
java·人工智能·spring
二川bro8 小时前
零门槛上手DeepSeek Harness,从零自制arxiv搜索插件
人工智能
cxr8288 小时前
数学的本质:关系、模式与不变量的结构世界
人工智能·算法·机器学习
东莞和裕包装8 小时前
如何管控广州定制纸箱生产中的啤切精度与印刷色差质量问题
大数据·运维·网络·人工智能
AIDANHANG8 小时前
放开靠时间戳对日志前先核请求ID跨服务传播与采样关联
前端·人工智能
牛肉胡辣汤9 小时前
手握实战经验,分享AI工程落地的踩坑与收获
人工智能
2601_963282779 小时前
山地复杂环境对讲机通信失效实战排查与组网优化方案
人工智能·语音识别