tokengate - tokengate技术,学习,经验文章

七牛开发者

2 小时前

TokenGate：端到端可训练的 Token 剪枝机制，让大模型 Prefill 提速 11.3 倍代码仓库、PDF及检索到的多份文档，常在请求到达后才交给 LLM。由于内容事先未知，对应的 KV Cache 无法预计算，每次请求都要重新完成预填充。标准 Transformer 会让全部输入 Token 逐层参与注意力和前馈网络计算，并生成对应 KV Cache。随着上下文变长，注意力计算快速增加，前馈网络计算和 KV Cache 占用也随 Token 数增长。