稀释注意力 - 稀释注意力技术,学习,经验文章

wangxin208

2 小时前

大模型稀疏注意力和MoE的宽度丢失与多智能体的维度补充一句大白话：纵向要深度，就得丢掉宽度；那宽度丢了怎么办？用多个纵向来补齐。这句话听起来像工程直觉，但把它翻译成数学和计算机科学语言，这恰好踩在集成学习（Ensemble）和分布式表征（Distributed Representation）的终极解法上。这一篇就把这句话展开，并用两个互为补充的直观映射——望远镜与 Photoshop 分色通道——把它讲透。