note
- 研究背景:传统 VideoQA 通常需要先获取完整视频,再统一抽帧推理,难以满足实时交互需求。此外,视频持续输入会导致视觉 KV Cache 不断增长。ThinkStream 提出 Watch--Think--Speak 范式,让 VLM 能够边看视频、边推理,并自主决定何时回答。
- 技术创新:
- 增量推理: 将视频划分为连续片段,每接收一段新视频,模型生成简短 CoT,并通过 继续观察或 输出答案,实现回答内容与响应时机的联合决策。
- RCSM 流式记忆: 采用双层 KV Cache,短期保留最近 W 个视频片段的视觉 KV,长期保留历史 CoT 的语义 KV。通过淘汰过期视觉 Token、保留推理结果,降低长视频缓存开销。
- 用模型生成的 CoT(推理文本)作为历史视频的语义记忆,并在 KV Cache 层面保留这些 CoT,淘汰过期的视觉 Token
- Streaming RLVR: 采用流式 SFT 冷启动,再通过 GRPO 优化完整交互轨迹。奖励包含答案正确性、输出格式及回答时机,使模型不仅学会答对,还能在证据充分时及时回答。
- 训练与实验:构建约 110K SFT 数据和 9K RLVR 数据,结合流式 Attention Mask、动态 KV Cache 和 CUDA Graph 实现训推协同。ThinkStream-3B 在 OVO-Bench 上达到 59.66 分,超过 StreamForest-7B 的 56.61 分。
- 总结:ThinkStream 的创新并非新模型架构,而是 增量推理 + CoT 语义记忆压缩 + 流式 RLVR 的系统性结合。它将传统 VideoQA 的"回答是否正确"扩展为"何时回答、如何持续推理",为实时视频 Agent、在线监控和具身交互提供了可借鉴的后训练范式。
- 训推协同设计:通过流式 Attention Mask、动态 KV Cache 和 CUDA Graph 支持高效训练与实时部署。
- 总结:ThinkStream 的核心贡献,是让 VLM 从被动处理完整视频,转变为能够持续观察、积累语义记忆、增量推理并自主决定响应时机的流式智能体。
文章目录
- note
-
- [一、研究背景:传统 VideoQA 为什么不适合实时视频?](#一、研究背景:传统 VideoQA 为什么不适合实时视频?)
- [二、创新一:Watch--Think--Speak 流式推理范式](#二、创新一:Watch–Think–Speak 流式推理范式)
- 三、创新二:RCSM------让推理过程成为长期记忆
- [四、创新三:Streaming RLVR------同时优化正确性与回答时机](#四、创新三:Streaming RLVR——同时优化正确性与回答时机)
- 五、数据构建与训练流程
- 六、流式推理引擎:为什么还要自己实现?
- 七、实验结果与技术评价
一、研究背景:传统 VideoQA 为什么不适合实时视频?
论文: Thinking in Streaming Video(ECCV 2026)
论文地址: https://arxiv.org/abs/2603.12938
开源代码: https://github.com/CASIA-IVA-Lab/ThinkStream
传统视频问答通常采用 Batch Processing:先获取完整视频、抽帧编码,再统一送入 VLM 推理。这种方案适合离线视频理解,却难以满足实时监控、智能助手和具身交互等场景。
核心存在三个问题:
- 无法及时回答:必须等待足够长的视频输入,无法根据当前事件主动响应。
- KV Cache 持续增长:视频帧不断产生大量视觉 Token,导致显存和 Attention 开销增加。
- 缺乏增量推理:模型往往在接收视频后一次性推理,而不是随着事件发展不断修正判断。
ThinkStream 的核心思路是:把视频理解从"看完再回答",改造成"边看、边推理、适时回答"的持续交互过程。
二、创新一:Watch--Think--Speak 流式推理范式

ThinkStream 将连续视频切分为时间片段,每收到一个新片段,就执行一次推理与决策:
- Watch:接收当前视频片段,结合历史记忆获取新证据。
- Think:生成一段简短 CoT,更新事件状态、时间关系或当前假设。
- Speak:判断证据是否充分,选择回答或继续观察。
模型输出采用结构化协议:
text
<think>当前观察到有人拿起杯子,但尚未喝水。</think>
<silent>
<think>新画面显示杯子接触嘴部,喝水动作已经发生。</think>
<response>这个人正在喝水。</response>
上述为便于理解的示例,并非论文原始样本。
关键创新在于:回答时机也是模型需要学习的决策。
传统 VLM 主要学习"回答什么",ThinkStream 进一步学习"什么时候回答"。它没有额外引入独立的触发分类器,而是将继续观察与生成回答统一到自回归生成过程中。
三、创新二:RCSM------让推理过程成为长期记忆

实时视频最大的工程问题之一是:不可能无限保留历史视觉 Token。
ThinkStream 提出 Reasoning-Compressed Streaming Memory(RCSM),采用两种不同粒度的记忆:
| 记忆类型 | 保存内容 | 作用 |
|---|---|---|
| 短期视觉记忆 | 最近 W 个视频片段的视觉 KV | 保留细节,支持当前观察 |
| 长期语义记忆 | 历史推理及交互 Token 的 KV | 保留事件、状态与时间关系 |
其核心机制是:新视频进入 → 生成简短推理 → 保留推理 KV → 淘汰过期视觉 KV。
例如,过去一分钟出现了"打开冰箱、拿出牛奶、倒入杯子"三个事件。系统无需永久保存对应的全部图像 Token,而是通过历史推理记录保留事件语义。
这相当于把高维视觉证据压缩成低成本的语言记忆。
注意,RCSM 并不是简单的视频摘要,也不是额外训练一个 Memory Encoder,而是直接复用模型自身生成的 CoT 作为语义记忆。
技术本质:以推理 Token 换取视觉 Token,降低长视频推理的缓存成本。
不过,它并非严格恒定内存:视觉缓存受到滑动窗口约束,但历史推理 Token 仍会累积,只是增长速度远低于原始视觉 Token。
四、创新三:Streaming RLVR------同时优化正确性与回答时机
这是论文最值得关注的后训练部分。
传统 GRPO 通常对一个完整问题采样多条回答,然后根据最终答案计算奖励。
但流式视频不同:模型在每个时间片段都要进行推理,并决定继续等待还是回答。因此,一次 Rollout 不再只是单轮回答,而是一整条跨视频片段的推理与决策轨迹。
ThinkStream 使用 GRPO 优化这种流式轨迹,并设计三个可验证奖励:
1. Accuracy Reward:回答正确性
根据最终回答与标准答案是否匹配给予奖励。为了方便自动验证,RLVR 数据主要采用选择题、Yes/No 和计数题等形式。
2. Format Reward:输出格式
检查模型是否遵循 <think>、<silent>、<response> 等结构化协议,确保能够正确执行流式交互。
3. Time Reward:回答时机
不仅要回答正确,还要在合适时间回答: R t i m e = max ( 0 , 1 − ∣ t r e s p − t g t ∣ w ) R_{\mathrm{time}}=\max\left(0,1-\frac{|t_{\mathrm{resp}}-t_{\mathrm{gt}}|}{w}\right) Rtime=max(0,1−w∣tresp−tgt∣)
其中, t r e s p t_{\mathrm{resp}} tresp 为模型回答时刻, t g t t_{\mathrm{gt}} tgt 为标注的合理回答时刻, w w w 为容忍窗口。
回答太早,可能证据不足;回答太晚,即使正确,也失去了实时交互价值。
最终奖励: R = R f o r m a t + R t i m e + R a c c R=R_{\mathrm{format}}+R_{\mathrm{time}}+R_{\mathrm{acc}} R=Rformat+Rtime+Racc
这篇论文的 RLVR 本质上是在优化"答案质量 + 行为时机",而不只是传统问答准确率。
五、数据构建与训练流程
ThinkStream 采用 流式 SFT 冷启动 → Streaming GRPO 两阶段训练。
首先,使用 PySceneDetect 划分视频场景,并利用 Qwen3-VL-235B-A22B-Instruct 生成带时间戳的详细描述。
随后,从交互方式、时间范围和语义类别三个维度合成问题,构造带时间约束的 CoT,使模型学习在不同视频时刻应该观察、思考还是回答。
论文最终构建:
- 110K Cold-Start 数据:学习流式推理格式与增量思考能力。
- 9K RLVR 数据:通过可验证奖励进一步优化答案与响应时机。
这里的数据设计非常关键:如果训练数据只有完整视频和最终答案,模型就很难学会"当前证据不足,需要继续观察"。
六、流式推理引擎:为什么还要自己实现?
ThinkStream 不只修改训练算法,还实现了专门的推理后端。
原因是 RCSM 需要动态删除历史视觉 KV,同时持续追加新视频和推理 Token。常规高吞吐推理框架不一定方便支持这种自定义缓存操作。
其推理流程分为:
- Prefill:采用 Eager 模式处理新到达的视觉 Token。
- Decode + Prune:通过 CUDA Graph 加速生成和 KV Cache 淘汰。
训练侧采用 FlexAttention 支持特殊 Attention Mask,推理侧实现动态 KV 管理,尽量保证训练和 Rollout 的注意力行为一致。
这一点也很重要:流式训练不仅是改造数据格式,还需要训练时的可见上下文与实际推理时保持一致。
七、实验结果与技术评价
在 OVO-Bench 上,ThinkStream-3B 的平均分达到 59.66 ,超过 StreamForest-7B 的 56.61 和 Streamo-3B 的 51.64。
论文还报告了 StreamingBench Real-Time 上的竞争力,以及长视频输入下更稳定的推理时延。
从方法上看,ThinkStream 的价值不在于提出新的视觉编码器或 Transformer 架构,而是将三个环节连接起来:
增量推理范式 + 推理压缩记忆 + 流式 RLVR。
它也存在值得继续研究的问题:历史 CoT 可能发生事实错误并被持续继承;长期保留推理 Token 仍有缓存增长问题;基于固定答案和时间标注的奖励,也未必能直接覆盖复杂开放式实时交互。