https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
写代码的小阿帆6 小时前
Fractal Generative Models论文阅读笔记与代码分析王上上6 小时前
【论文阅读29】区间预测CIPM(2025)Matrix_116 小时前
论文阅读：Matting by Generation王上上9 小时前
【论文阅读28】-CNN-BiLSTM-Attention-（2024）大写-凌祁1 天前
论文阅读：HySCDG生成式数据处理流程颜妮儿1 天前
论文笔记——相干体技术在裂缝预测中的应用研究柠石榴1 天前
【论文阅读笔记】《A survey on deep learning approaches for text-to-SQL》张较瘦_1 天前
[论文阅读] 人工智能 | 搜索增强LLMs的用户偏好与性能分析Jamence1 天前
多模态大语言模型arxiv论文略读（111）Jamence1 天前
多模态大语言模型arxiv论文略读（110）