九章智算云 - 九章智算云技术,学习,经验文章

九章云极DataCanvas

2 小时前

让大模型少做重复计算九章云极开源分布式KV Cache系统DingoCache近日，九章云极DataCanvas自主研发的九章智算云平台Alaya NeW Cloud宣布开源分布式KV Cache 系统DingoCache（项目名 dfkv）。该系统将大模型的KV Cache从单个推理实例扩展到共享存储池，使兼容的请求能够复用已有计算结果，从而减少长上下文与多轮交互场景中的重复Prefill。项目采用Apache 2.0许可开放，支持免费商用、修改与再分发。