vllm论文中figure3每个块的区别

  1. 请问这个里面的浅黄色 fathers brought 是什么含义?是过去生成的?2. 后面颜色更深的咖啡色 forth 和 是未来会生成,但是现在还没有被使用的意思吗??3. Four score and seven years ago our这个部分是什么?不是生成的而是最开始就有的,是初始的时候就有的吗?有什么更专业的数据可以称呼吗

    要理解这个图,我们可以把每个部分拆解为请求的"提示词阶段(Prompt)"、"生成阶段(Generation)" 以及显存浪费的三种类型,具体解释如下:

1. 浅黄色"fathers""brought"的含义

浅黄色的"fathers"属于请求A当前生成的token ,"brought"是请求A上一轮生成的token

  • 图中"1 slot for generated token"标注的"fathers",是请求A本轮刚生成的token,其KV缓存需要占用1个显存槽位;
  • "brought"是请求A之前生成的token,属于生成阶段中"已经完成但仍需保留用于后续注意力计算"的KV缓存。

2. 深咖啡色"forth"和""的含义

深咖啡色的"forth"和""属于为请求A预留的"未来生成token的槽位",但当前未被使用。

  • 图中"2 slots future used (reserved)"标注的"forth"和""(是"生成结束"的标记),是系统为请求A预先预留的显存槽位,用于存储未来将要生成的token的KV缓存。这些槽位当前是空的(未被使用),但属于"预留资源",导致显存被占用却未有效利用(即"内部碎片"的一种)。

3. "Four score and seven years ago our"的含义与专业称呼

"Four score and seven years ago our"属于请求A的"提示词(Prompt)",是用户输入的初始文本,不是生成阶段产生的。

  • 专业上称为**"提示词KV缓存"**,是LLM在处理用户输入时,对提示词中每个token计算得到的Key和Value向量,需要长期驻留显存以支持后续生成阶段的注意力计算。

补充:三种显存浪费的总结

图中还展示了传统系统中KV缓存管理的三类显存浪费,这也是论文要解决的核心问题:

  • Reserved(预留浪费):如"2 slots future used (reserved)""1 slot future used (reserved)",为未来生成预留的槽位当前未被使用,却占用了显存;
  • Internal fragmentation(内部碎片):如"2038 slots never used""507 slots never used",为请求分配的连续显存中,有大量槽位实际未被使用(比如请求A实际只需少量槽位,却分配了连续的大段显存);
  • External fragmentation(外部碎片):图中中间的空白区域,是显存中零散的空闲槽位,由于传统系统要求KV缓存连续存储,这些零散空间无法被其他请求利用。

这样拆解后,是不是对传统KV缓存管理的问题和各个模块的含义更清晰了?

相关推荐
LaughingZhu9 分钟前
Product Hunt 每日热榜 | 2026-05-21
前端·人工智能·经验分享·chatgpt·html
传说故事44 分钟前
【论文阅读】MotuBrain: An Advanced World Action Model for Robot Control
论文阅读·人工智能·具身智能·wam
北京耐用通信1 小时前
全域适配工业场景耐达讯自动化Modbus TCP 转 PROFIBUS 网关轻松实现以太网与现场总线互通
网络·人工智能·网络协议·自动化·信息与通信
火山引擎开发者社区1 小时前
TRAE × 火山引擎 Supabase:为你的 AI 应用装上“数据引擎”
人工智能
小a彤2 小时前
GE 在 CANN 五层架构中的位置
人工智能·深度学习·transformer
前端若水2 小时前
会话管理:创建、切换、删除对话历史
前端·人工智能·python·react.js
Upsy-Daisy2 小时前
AI Agent 项目学习笔记(八):Tool Calling 工具调用机制总览
人工智能·笔记·学习
企学宝2 小时前
企学宝5月专题课程丨《OpenClaw AI 智能体实战营:从零基础部署到全场景自动化落地》
人工智能·ai·企业培训
冬奇Lab3 小时前
让 AI Agent 更可靠:Harness Engineering 与多 Agent 系统工程实践
人工智能·llm·agent
放下华子我只抽RuiKe53 小时前
React 从入门到生产(四):自定义 Hook
前端·javascript·人工智能·深度学习·react.js·自然语言处理·前端框架