https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
m4Rk_18 小时前
【论文阅读】Agent 记忆机制（86）：Skill-Pro——用 Non-Parametric PPO 将交互经验演化为可复用技能Rocky Ding*1 天前
DeepSeek DSec技术深度解析：Agent规模化训练的真正瓶颈，是沙箱基础设施m4Rk_3 天前
【论文阅读】Agent 记忆机制（83）：Inside Out——用可演化 PersonaTree 构建 Agent 的核心长期记忆m4Rk_3 天前
【论文阅读】Agent 记忆机制（81）：EMR——用情景记忆避免 Agent 在多步推理中反复绕圈m4Rk_3 天前
【论文阅读】Agent 记忆机制（82）：ReasoningBank——从成功与失败经验中沉淀可复用的推理记忆Rocky Ding*3 天前
一文读懂Qwen-Audio-3.1核心基础知识：从语音识别到可控声景与实时AgentRocky Ding*4 天前
Hi-DiT：一文读懂Hybrid Latent-Pixel Diffusion Transformer的本质与技术细节m4Rk_10 天前
【论文阅读】Agent 记忆机制（77）：TSM——让记忆回到事件真正发生的时间m4Rk_11 天前
【论文阅读】Agent 记忆机制（76）：SEEM——从碎片检索到完整事件重建m4Rk_12 天前
【论文阅读】Agent 记忆机制（75）：TiMem——用时间记忆树实现长期记忆的层级巩固