https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
薛定e的猫咪7 天前
【AAAI 2025】基于扩散模型的昂贵多目标贝叶斯优化YMWM_7 天前
论文阅读“SimVLA: A Simple VLA Baseline for Robotic Manipulation“m0_650108247 天前
VLN-Zero：零样本机器人导航的神经符号视觉语言规划框架晓山清8 天前
【论文阅读】Self-supervised Learning of Person-specific Facial Dynamics for APR张较瘦_8 天前
[论文阅读] AI + 教育 | 不是单纯看视频！软件工程培训的游戏化融合之道张较瘦_8 天前
[论文阅读] AI + 软件工程 | 用统计置信度破解AI功能正确性评估难题——SCFC方法详解Matrix_119 天前
论文阅读--Agent AI 探索多模态交互的前沿领域（二）万里鹏程转瞬至10 天前
论文简读 | TurboDiffusion: Accelerating Video Diffusion Models by 100–200 TimesMatrix_1110 天前
论文阅读--Agent AI 探索多模态交互的前沿领域（一）@––––––11 天前
论文阅读笔记：π 0 : A Vision-Language-Action Flow Model for General Robot Control