集合通信库 nccl - 集合通信库 nccl技术,学习,经验文章

T-BARBARIANS

6 小时前

NVIDIA GPU 集合通信库 NCCL 基本概念简述本文来自博客园，作者：T-BARBARIANS 原创，博文严禁转载，转载必究！本篇内容主要对 NVIDIA GPU 集合通信库 NCCL 的基本概念做一些肤浅的介绍。文章将从 NCCL 的产生背景，NCCL 是什么，NCCL 初始化关键能力简介，NCCL 支持的通信原语，NCCL 的一些基础技术概念和优化点，等多个角度去阐述。