https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
Ma04071312 小时前
SCI投稿数智工坊16 小时前
【DDIM 论文阅读】：扩散模型加速采样的里程碑！10~50 倍快采 + 确定性生成数智工坊2 天前
【VAE 论文阅读| ICLR 2014】：变分自编码器——深度生成模型的理论基石数智工坊2 天前
【ECNDNet论文阅读｜图像去噪经典】：融合残差、BN与空洞卷积的增强型去噪网络数智工坊3 天前
【RT-DETR论文阅读】：首个实时端到端Transformer检测器，DETR正式超越YOLO数智工坊3 天前
【Transfer CLIP论文阅读】跨模态大模型赋能！CLIP迁移学习实现超强泛化图像去噪小马哥crazymxm4 天前
arXiv论文周选 (2026-W18)薛定e的猫咪5 天前
强化学习中的OOD检测：从状态异常到分布偏移Chunyyyen5 天前
【第四十三周】论文阅读数智工坊5 天前
【Mask2Former论文阅读】：基于掩码注意力的通用分割Transformer，大一统全景/实例/语义分割