技术栈
稀疏注意力
minhuan
15 天前
滑动窗口
·
大模型应用
·
稀疏注意力
·
大模型扩窗技术
大模型应用：稀疏注意力 vs 滑动窗口：大模型扩窗技术完全解析.58
我们应该也遇到过这样的情况，在和模型应用沟通的过程中，聊着聊着它就忘了开头的要求；或者让模型工具分析一本几百页的电子书，它只记住了最后几页的内容？我们也反复讨论过，这不是大模型记性差，而是它的注意力范围有限，原始的大模型注意力机制，看的文本越长，计算量就会像滚雪球一样爆炸式增长，普通电脑根本扛不住。
deephub
6 个月前
人工智能
·
深度学习
·
transformer
·
deepseek
·
稀疏注意力
NSA稀疏注意力深度解析：DeepSeek如何将Transformer复杂度从O(N²)降至线性，实现9倍训练加速
当前人工智能模型在处理长序列任务时面临着根本性的计算瓶颈。无论是分析完整的法律文档、处理大型代码仓库，还是进行长篇对话，现有模型都受到Transformer架构中注意力机制的限制——其计算复杂度随序列长度呈二次增长（
我是有底线的