streamingllm

狂奔solar1 个月前
streamingllm
StreamingLLM：让LLM拥有无限长生成能力传统的语言模型（LLM）在处理长序列输入时面临两个主要挑战：在流式场景（如多轮对话或实时处理无限长输入）中，传统方法（如滑动窗口或重新计算 KV）要么效率低下，要么丢失上下文。StreamingLLM 提出了一种创新方法，旨在让 LLM 在不改变上下文窗口大小的情况下，高效处理无限长输入。