技术栈
streamingllm
狂奔solar
12 小时前
streamingllm
StreamingLLM:让LLM拥有无限长生成能力
传统的语言模型(LLM)在处理长序列输入时面临两个主要挑战:在流式场景(如多轮对话或实时处理无限长输入)中,传统方法(如滑动窗口或重新计算 KV)要么效率低下,要么丢失上下文。StreamingLLM 提出了一种创新方法,旨在让 LLM 在不改变上下文窗口大小的情况下,高效处理无限长输入。