通信bound还是计算bound？
计算bound场景：
- 模型参数量较小 （如参数量未超出单卡显存容量，使用纯数据并行）或计算密度极高（如大batch size下的矩阵运算）时，A100的计算能力（FP16/FP32算力）可能被充分利用，此时训练是计算bound。
- 某些优化技术（如梯度累积、算子融合）可能掩盖通信开销，使计算成为主要瓶颈。
通信bound场景：
- 模型参数量极大（如千亿级以上），需采用模型并行或流水线并行时，卡间频繁传递激活值或梯度，通信延迟和带宽会成为瓶颈。
- 在数据并行中，梯度同步（尤其是AllReduce操作）的通信量随参数量增长，若使用低带宽互联（如PCIe），可能转为通信bound。
- 混合并行策略（如数据+模型并行）通常对通信压力更大。
性能损失计算
当前配置（NCCL_P2P_DISABLE=1）：
- 峰值算法带宽：~3.3 GB/s
- 峰值总线带宽：~4.9 GB/s
理论最优性能（使用NVLink）：
- A100 NVLink 3.0：~300 GB/s 双向带宽
- 即使考虑实际overhead，通常也能达到200+ GB/s
性能下降比例计算：
- 降低比例 = (300 - 3.3) / 300 = 98.9%
- 也就是说：
- 性能大约降低了99%
- 当前配置的速度约为最优性能的1/90
具体影响：
- 对于小数据传输（<1MB）：影响相对较小
- 对于大数据传输（>100MB）：影响显著
- 如果应用是计算密集型，通信开销占比小，那么整体性能影响可能在5-20%
- 如果应用是通信密集型，整体性能可能会降低50-90%
这确实是显著的性能牺牲，但为了系统稳定性，这可能是当前最好的权衡方案。