技术栈
图片生成
Kun Li
2 个月前
图片生成
Ulyssess & Ring Attention
https://zhuanlan.zhihu.com/p/689067888https://zhuanlan.zhihu.com/p/689067888DeepSpeed Ulysess：切分Q、K、V序列维度，核心卖点保持通信复杂度低，和GPU数无关，和序列长度呈线性关系。 Ring-Attention：切分Q、K、V序列维度，核心卖点是通信和计算重叠。