双机双卡训练yolov5(yolov5+pytorch+DDP+NCCL+RDMA全栈解析)

重点关注问题:

1、nvidia-smi topo -m 是怎么获取topo结构的?调用了什么api?

2、以下接口有什么用,怎么实现的?

nvmlDeveiceGetNvLinkVersion

nvmlDeveiceGetNvLinkCapability

nvmlDeveiceGetNvLinkState

nvmlDeveiceGetNvLinkErrorCounter

nvmlDeveiceResetNvLinkErrorCounters

nvmlDeveiceGetNvLinkRemotePciInfo

nvmlDeveiceGetP2PStatus

3、单机单进程P2P场景使用一下接口,具体有什么用,怎么实现的?

cudaDeviceCanAccessPeer

cudaDeviceEnablePeerAccess

cudaMemcpyPeer

4、以下是单机多进程P2P,具体有什么用,怎么实现的?

cudaIpcGetMemHandle

cudaIpcOpenMemHandle

cudaIpcCloseMemHandle

cudaIpcGetEventHandle

cudaIpcOpenEventHandle

5、NCCL是怎么获取topo结构的?

6、NCCL通过nvml获取本地拓扑,多机拓扑是怎么获取的呢?

7、pytorch如何调用DDP?

8、DDP如何调用NCCP?

9、NCCL如何调用RDMA?

10、怎么理解RING和TREE?

相关推荐
镜象科技1 小时前
AI情感大模型应用场景全解:从校园到医院再到企业的落地地图
人工智能
Joshua-a2 小时前
工程数学-理解卷积的含义_线性时不变系统的冲激响应与卷积
人工智能·深度学习
song5012 小时前
React Native for OpenHarmony 实战:三方库 react-native-css-transformer 的鸿蒙化适配指南
css·人工智能·深度学习·react native·transformer
老金带你玩AI6 小时前
ChatGPT dots,到底能替你操多少心?
人工智能
AliCloudROS7 小时前
计算巢 X DeepSeek Harness — 云端智能体工作台
人工智能·阿里云
深蓝AI7 小时前
GitHub的Push一年涨4.9倍:AI Agent为什么逼它重做Git存储?
人工智能·github
stereohomology7 小时前
大模型的观点谨:StoryTold 「Crafting Apps」四件套 · 深度总览
人工智能·llm
运维行者_8 小时前
网络性能监控怎么做?从自动发现到根因分析的4个环节
运维·服务器·网络·人工智能·支持向量机
Su米苏8 小时前
Spring AI 中MCP 与普通 @Tool的区别
java·人工智能·spring
美狐美颜sdk8 小时前
直播APP源码可以直接接入视频美颜sdk吗?技术方案详解
android·人工智能·音视频·美颜sdk·直播美颜sdk