https://zhuanlan.zhihu.com/p/689067888
https://zhuanlan.zhihu.com/p/689067888DeepSpeed Ulysess：切分Q、K、V序列维度，核心卖点保持通信复杂度低，和GPU数无关，和序列长度呈线性关系。
Ring-Attention：切分Q、K、V序列维度，核心卖点是通信和计算重叠。
Ulyssess & Ring Attention
Kun Li2025-05-18 14:25
https://zhuanlan.zhihu.com/p/689067888https://zhuanlan.zhihu.com/p/689067888DeepSpeed Ulysess：切分Q、K、V序列维度，核心卖点保持通信复杂度低，和GPU数无关，和序列长度呈线性关系。
Ring-Attention：切分Q、K、V序列维度，核心卖点是通信和计算重叠。