https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
chnyi6_ya1 天前
论文阅读笔记：VideoWeaver — 面向智能体长视频生成的技能评估与进化闲研随记2 天前
【文献阅读 ICML 2026】RL算法：Critique-GRPO大模型最新论文速读4 天前
RL 的 token 选择之争：高熵词到底重不重要？STLearner5 天前
ICML 2026 | 时间序列（Time Series）论文总结【基础模型，生成，分类，异常检测，插补，表示学习和分析等】lally.6 天前
Last-Vit论文阅读pW3g3lLuu6 天前
“Memory in the Age of AI Agents: A Survey“ 论文笔记cqbzcsq23 天前
CellFlow虚拟细胞论文阅读凌晨一点的秃头猪23 天前
论文阅读 GTI（Graph-based Tree Index）: 面向高维空间最近邻搜索的动态图-树混合索引结构有Li23 天前
PTCMIL：基于提示 token 聚类的全切片图像多实例学习分析文献速递/多模态医学影像最新进展大模型最新论文速读23 天前
06-16 · LLM 最新论文速览