https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
m4Rk_2 天前
【论文阅读】Agent 记忆机制（43）：Mem²Evolve——让经验与能力在双记忆中共同进化m4Rk_4 天前
【论文阅读】Agent 记忆机制（41）：Agentic Plan Caching——将历史执行轨迹转化为可复用的计划记忆m4Rk_4 天前
【论文阅读】Agent 记忆机制（40）：HiAgent——通过子目标级记忆提升长程任务执行能力、达西先生5 天前
Hand Visibility Detector 论文解读柳叶方舟5 天前
Nature Medicine IF=50.0 | 公众医疗助手LLM可靠性存隐忧：真人交互表现未优于对照组，现有评估基准失效Capricorn19886 天前
知芽研究问题看板无法推进？从孵化区到笔记的机制排查指南m4Rk_7 天前
【论文阅读】Agent 记忆机制（38）：AMA——用多智能体协作动态选择记忆粒度m4Rk_10 天前
【论文阅读】Agent 记忆机制（35）：MAGMA——用多关系图与意图路由实现结构化长期记忆检索m4Rk_10 天前
【论文阅读】Agent 记忆机制（34）：MemoryBank——用遗忘曲线管理可强化的长期对话记忆zzm62813 天前
安全嵌套子博弈求解与非完美信息博弈——NIPS 2017 最佳论文阅读笔记