https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
觉醒大王2 天前
哪些文章会被我拒稿？觉醒大王2 天前
强女思维：着急，是贪欲外显的相。张较瘦_2 天前
[论文阅读] AI | 用机器学习给深度学习库“体检”：大幅提升测试效率的新思路m0_650108243 天前
IntNet：面向协同自动驾驶的通信驱动多智能体强化学习框架m0_650108243 天前
Raw2Drive：基于对齐世界模型的端到端自动驾驶强化学习方案快降重科研小助手3 天前
前瞻与规范：AIGC降重API的技术演进与负责任使用源于花海4 天前
IEEE TIE期刊论文学习——基于元学习与小样本重训练的锂离子电池健康状态估计方法m0_650108244 天前
UniDrive-WM：自动驾驶领域的统一理解、规划与生成世界模型蓝田生玉1234 天前
LLaMA论文阅读笔记*西瓜4 天前
基于深度学习的视觉水位识别技术与装备