技术栈
集合通信库 nccl
T-BARBARIANS
20 天前
集合通信库 nccl
NVIDIA GPU 集合通信库 NCCL 初始化流程源码级剖析
本文来自博客园，作者：T-BARBARIANS 原创，博文严禁转载，转载必究！本篇内容将从 NCCL（NVIDIA Collective Communications Library） 源码的角度尽量深入剖析 NCCL 初始化的一些关键业务流程。文章内容很长，换言之：信息量很大，一时半会真的说不清楚。
T-BARBARIANS
21 天前
集合通信库 nccl
NVIDIA GPU 集合通信库 NCCL 基本概念简述
本文来自博客园，作者：T-BARBARIANS 原创，博文严禁转载，转载必究！本篇内容主要对 NVIDIA GPU 集合通信库 NCCL 的基本概念做一些肤浅的介绍。文章将从 NCCL 的产生背景，NCCL 是什么，NCCL 初始化关键能力简介，NCCL 支持的通信原语，NCCL 的一些基础技术概念和优化点，等多个角度去阐述。
我是有底线的