https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
万里守约12 小时前
【论文阅读】SAM-CP：将SAM与组合提示结合起来的多功能分割chnyi6_ya12 小时前
2025/02/22阅读论文笔记Jackilina_Stone2 天前
【论文阅读笔记】浅谈深度学习中的知识蒸馏 | 关系知识蒸馏 | CVPR 2019 | RKDHollowKnightZ2 天前
论文阅读笔记：Gated CRF Loss for Weakly Supervised Semantic Image Segmentationregret～2 天前
【论文笔记】Mamba: Linear-time sequence modeling with selective state spacesJackilina_Stone2 天前
【论文阅读笔记】知识蒸馏：一项调查 | CVPR 2021 | 近万字翻译+解释Zhouqi_Hua2 天前
LLM论文笔记 15: Transformers Can Achieve Length Generalization But Not RobustlyX.Cristiano2 天前
月之暗面-KIMI-发布最新架构MoBA永远前进不waiting3 天前
论文阅读4——一种宽频带圆极化微带天线的设计Zhouqi_Hua3 天前
LLM论文笔记 12: Teaching Arithmetic to Small Transformers