https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
西柚小萌新11 小时前
【论文阅读】-- Robust RAG ：针对检索损坏的鲁棒性可验证RAGVL——MOESR1 天前
【具身智能】π0论文阅读随笔张继雁1 天前
张继雁 个人技术简介｜磨削加工过滤方向Capricorn19881 天前
知芽 Notebook Skill 引用存在性校验与单元记忆破解幽灵引用危机西柚小萌新2 天前
【论文阅读】-- Spa‑VLM：隐形中毒攻击基于RAG的VLM西柚小萌新2 天前
【论文阅读】-- Vis‑Poison：多模态 RAG 视觉知识投毒m4Rk_2 天前
【论文阅读】Agent 记忆机制（63）：SAMem——把经验记忆细化为带长期价值的状态—Thoughtm4Rk_3 天前
【论文阅读】Agent 记忆机制（62）：DCM-Agent——用双簇记忆化解优化问题的多范式冲突VL——MOESR3 天前
【具身智能】OpenVLA论文阅读随笔Capricorn19884 天前
跨端同步与记忆锁定排障：OpenClaw 2.0 Active Memory 云端劫持危机，知芽 Notebook Skill 单元记忆架构解析