https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
森诺Alyson9 小时前
前沿技术借鉴研讨-2026.5.28（眼动数据预测抑郁&自杀倾向）凌晨一点的秃头猪1 天前
GR2（Generative Reasoning Reranker，生成式推理重排器）论文阅读Biomamba生信基地2 天前
《Advanced Science》前沿工具发布：STAID，空间反卷积自优化深度学习框架仙女修炼史2 天前
CNN更看重Texture还是shape：imagenet-trained cnns are biased大模型最新论文速读3 天前
GRPO 丢失的组内排序信息，LamPO 补回来了Rocky Ding*4 天前
深入浅出讲解ERNIE-Image图像创作大模型小马哥crazymxm5 天前
Arxiv论文周选 (2026-W21)传说故事5 天前
【论文阅读】MEM: Multi-Scale Embodied Memory for Vision Language Action Models传说故事6 天前
【论文阅读】VGGT-Ω数智工坊6 天前
【Inner Monologue论文阅读】: 首次将大语言模型嵌入机器人控制闭环，实现自我反思和动态行为调整