技术栈

图片生成

Kun Li
2 个月前
图片生成
Ulyssess & Ring Attentionhttps://zhuanlan.zhihu.com/p/689067888https://zhuanlan.zhihu.com/p/689067888DeepSpeed Ulysess:切分Q、K、V序列维度,核心卖点保持通信复杂度低,和GPU数无关,和序列长度呈线性关系。 Ring-Attention:切分Q、K、V序列维度,核心卖点是通信和计算重叠。