https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
zzfive1 小时前
Ovi-音视频生成模型Che_Che_18 小时前
论文阅读-IDFUZZ: Intelligent Directed Grey-box Fuzzing闲看云起2 天前
Bert：从“读不懂上下文”的AI，到真正理解语言闲看云起2 天前
论文阅读《LIMA:Less Is More for Alignment》0x2112 天前
[论文阅读]Progent: Programmable Privilege Control for LLM Agents红苕稀饭6662 天前
DyCoke论文阅读飞机火车巴雷特2 天前
【论文阅读】DSPy-based neural-symbolic pipeline to enhance spatial reasoning in LLMs末世灯光3 天前
论文阅读---CARLA：用于时间序列异常检测的自监督对比表示学习方法张较瘦_3 天前
[论文阅读] AI | PynguinML——破解ML库自动化测试难题，覆盖率最高提升63.9%*Lisen3 天前
论文笔记 -《MUON IS SCALABLE FOR LLM TRAINING》