端侧llm长上下文 - 端侧llm长上下文技术,学习,经验文章

Fibocom广和通

2 天前

技术攻坚！广和通突破端侧LLM长上下文限制近日，广和通AI研究院取得关键技术突破，自研端侧长文本缓存管理技术FiboCache面向大模型推理中的缓存膨胀、内存受限、端侧部署效率低等业界难题，在有限缓存占用下支撑16K+上下文稳定推理，为端侧设备处理长文档、多轮交互及复杂任务提供核心支撑。