上下文并行 - 上下文并行技术,学习,经验文章

一条大祥脚

3 小时前

【CS336】lecture 8收尾上下文并行CP|多维并行|重计算对于注意力层，有特殊的并行策略，上下文并行。核心是超长上下文时，qkv矩阵都很大，从内存角度单卡装不下，从计算吞吐角度也想要提高吞吐，于是想把注意力计算分散给多卡。