https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
cqbzcsq2 天前
CellFlow虚拟细胞论文阅读凌晨一点的秃头猪2 天前
论文阅读 GTI（Graph-based Tree Index）: 面向高维空间最近邻搜索的动态图-树混合索引结构有Li2 天前
PTCMIL：基于提示 token 聚类的全切片图像多实例学习分析文献速递/多模态医学影像最新进展大模型最新论文速读2 天前
06-16 · LLM 最新论文速览墨绿色的摆渡人2 天前
论文笔记（一百三十七）Learning Dual-Arm Push and Grasp Synergy in Dense ClutterChunyyyen3 天前
【第四十九周】论文阅读Biomamba生信基地3 天前
NC | 单细胞分析揭示头颈部癌早期转移过程中潜在的免疫逃逸机制(R语言版本)大模型最新论文速读3 天前
06-15 · LLM 最新论文速览小马哥crazymxm3 天前
Arxiv论文周选 (2026-W24)大模型最新论文速读3 天前
TRUST：RL 时保留模型的不确定性，效果提升 8%