https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
Zucker n14 小时前
文献发现、课题组织与证据可追溯的论文阅读。西柚小萌新15 小时前
【论文阅读】--可信LLM智能体的威胁与对策 综述Rocky Ding*17 小时前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析Rocky Ding*3 天前
REPA-E技术深度解析：解冻 VAE 之后，扩散模型为什么需要选择梯度Rocky Ding*4 天前
【三年面试五年模拟】2026-11-01_字节跳动AI Agent全栈研发一面面经全解析五网4 天前
软件测试用例模板怎么写：从用例设计到执行记录的全套指南Rocky Ding*5 天前
深入浅出IDM-VTON论文精读：虚拟试衣怎样同时保住服装语义与局部细节天树星智源5 天前
机器人 VLA 一个模型同时动手和动脑：动作参数只占 0.21%，万级扰动任务 85.9%DUTBenjamin7 天前
论文阅读笔记：GPT-6-Astra Lights Up Embodied Navigation七元权8 天前
FoundationPose 推理全流程解读：从一帧 RGB-D 到 6D 位姿