大模型扩窗技术 - 大模型扩窗技术技术,学习,经验文章

minhuan

3 小时前

大模型应用：稀疏注意力 vs 滑动窗口：大模型扩窗技术完全解析.58我们应该也遇到过这样的情况，在和模型应用沟通的过程中，聊着聊着它就忘了开头的要求；或者让模型工具分析一本几百页的电子书，它只记住了最后几页的内容？我们也反复讨论过，这不是大模型记性差，而是它的注意力范围有限，原始的大模型注意力机制，看的文本越长，计算量就会像滚雪球一样爆炸式增长，普通电脑根本扛不住。