nccl_nthreads - nccl_nthreads技术,学习,经验文章

业余程序员plus

36 分钟前

NCCL-AllReduce-任务分类、聚合与调优（四）NCCL 根据 Group 边界、集合通信操作参数和单次调用配置，对用户登记的集合通信任务进行分类、聚合与调优。同一聚合组内的任务共享调优结果；后续编排为各任务分配 Channel，并将对应的工作项分组，供设备执行。下图采用第 2.1 节的 A/B/C/D 示例，展示同一 communicator 内 AllReduce 传统内核路径从任务登记到设备执行的过程，其中 Plan 组合与 Channel 分段仅作结构示意。