https://arxiv.org/pdf/2310.06825.pdf
GQA:
1、加快推理速度
2、减小内存需求
3、允许更大的batch
4、更高的吞吐量
SWA：
1、较低的计算成本 更有效的处理 较长的序列。
2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。
这样每层都在叠加感受野。在第K层时，感受野就是W*K。
参数设置：
相关推荐
m0_6501082414 小时前
IntNet：面向协同自动驾驶的通信驱动多智能体强化学习框架m0_6501082421 小时前
Raw2Drive：基于对齐世界模型的端到端自动驾驶强化学习方案快降重科研小助手1 天前
前瞻与规范：AIGC降重API的技术演进与负责任使用源于花海1 天前
IEEE TIE期刊论文学习——基于元学习与小样本重训练的锂离子电池健康状态估计方法m0_650108242 天前
UniDrive-WM：自动驾驶领域的统一理解、规划与生成世界模型蓝田生玉1232 天前
LLaMA论文阅读笔记*西瓜2 天前
基于深度学习的视觉水位识别技术与装备大模型最新论文速读2 天前
BAR-RAG: 通过边界感知训练让单轮 RAG 效果媲美深度研究觉醒大王3 天前
科研新手如何读文献？从“乱读”到“会读”有Li3 天前
SafeRPlan: 用于椎弓根螺钉置入术中规划的安全深度强化学习/文献速递-基于人工智能的医学影像技术