推理部署配置实践:缓存窗口、硬件配比与协议统一的核查清单这套框架值得看的地方,是把长文本与智能体两类流量的缓存留存分开处理。本文只给可抄的推理部署配置:缓存窗口、硬件配比、协议统一,顺带标出几处走不通的做法。 一套国内团队公开的推理框架前不久挂在 Apache 2.0 协议下面,同时放出的还有生产级分词组件。框架支撑着线上百亿级调用,工程细节比模型本身更有参考价值。 先把范围框一下。这篇只谈部署侧的三件事:缓存留在哪里、卡怎么配、接口怎么收。这三块宜收进同一份配置文件,别分散到三个仓库。三者之间存在联动,改一处要能看见另外两处。