【ECCV2026】流式视频理解Thinking in Streaming Video

note

  • 研究背景:传统 VideoQA 通常需要先获取完整视频,再统一抽帧推理,难以满足实时交互需求。此外,视频持续输入会导致视觉 KV Cache 不断增长。ThinkStream 提出 Watch--Think--Speak 范式,让 VLM 能够边看视频、边推理,并自主决定何时回答。
  • 技术创新:
    • 增量推理: 将视频划分为连续片段,每接收一段新视频,模型生成简短 CoT,并通过 继续观察或 输出答案,实现回答内容与响应时机的联合决策。
    • RCSM 流式记忆: 采用双层 KV Cache,短期保留最近 W 个视频片段的视觉 KV,长期保留历史 CoT 的语义 KV。通过淘汰过期视觉 Token、保留推理结果,降低长视频缓存开销。
      • 用模型生成的 CoT(推理文本)作为历史视频的语义记忆,并在 KV Cache 层面保留这些 CoT,淘汰过期的视觉 Token
    • Streaming RLVR: 采用流式 SFT 冷启动,再通过 GRPO 优化完整交互轨迹。奖励包含答案正确性、输出格式及回答时机,使模型不仅学会答对,还能在证据充分时及时回答。
  • 训练与实验:构建约 110K SFT 数据和 9K RLVR 数据,结合流式 Attention Mask、动态 KV Cache 和 CUDA Graph 实现训推协同。ThinkStream-3B 在 OVO-Bench 上达到 59.66 分,超过 StreamForest-7B 的 56.61 分。
  • 总结:ThinkStream 的创新并非新模型架构,而是 增量推理 + CoT 语义记忆压缩 + 流式 RLVR 的系统性结合。它将传统 VideoQA 的"回答是否正确"扩展为"何时回答、如何持续推理",为实时视频 Agent、在线监控和具身交互提供了可借鉴的后训练范式。
  • 训推协同设计:通过流式 Attention Mask、动态 KV Cache 和 CUDA Graph 支持高效训练与实时部署。
  • 总结:ThinkStream 的核心贡献,是让 VLM 从被动处理完整视频,转变为能够持续观察、积累语义记忆、增量推理并自主决定响应时机的流式智能体。

文章目录

一、研究背景:传统 VideoQA 为什么不适合实时视频?

论文: Thinking in Streaming Video(ECCV 2026)

论文地址: https://arxiv.org/abs/2603.12938

开源代码: https://github.com/CASIA-IVA-Lab/ThinkStream

传统视频问答通常采用 Batch Processing:先获取完整视频、抽帧编码,再统一送入 VLM 推理。这种方案适合离线视频理解,却难以满足实时监控、智能助手和具身交互等场景。

核心存在三个问题:

  1. 无法及时回答:必须等待足够长的视频输入,无法根据当前事件主动响应。
  2. KV Cache 持续增长:视频帧不断产生大量视觉 Token,导致显存和 Attention 开销增加。
  3. 缺乏增量推理:模型往往在接收视频后一次性推理,而不是随着事件发展不断修正判断。

ThinkStream 的核心思路是:把视频理解从"看完再回答",改造成"边看、边推理、适时回答"的持续交互过程。

二、创新一:Watch--Think--Speak 流式推理范式

ThinkStream 将连续视频切分为时间片段,每收到一个新片段,就执行一次推理与决策:

  • Watch:接收当前视频片段,结合历史记忆获取新证据。
  • Think:生成一段简短 CoT,更新事件状态、时间关系或当前假设。
  • Speak:判断证据是否充分,选择回答或继续观察。

模型输出采用结构化协议:

text 复制代码
<think>当前观察到有人拿起杯子,但尚未喝水。</think>
<silent>

<think>新画面显示杯子接触嘴部,喝水动作已经发生。</think>
<response>这个人正在喝水。</response>

上述为便于理解的示例,并非论文原始样本。

关键创新在于:回答时机也是模型需要学习的决策。

传统 VLM 主要学习"回答什么",ThinkStream 进一步学习"什么时候回答"。它没有额外引入独立的触发分类器,而是将继续观察与生成回答统一到自回归生成过程中。

三、创新二:RCSM------让推理过程成为长期记忆

实时视频最大的工程问题之一是:不可能无限保留历史视觉 Token。

ThinkStream 提出 Reasoning-Compressed Streaming Memory(RCSM),采用两种不同粒度的记忆:

记忆类型 保存内容 作用
短期视觉记忆 最近 W 个视频片段的视觉 KV 保留细节,支持当前观察
长期语义记忆 历史推理及交互 Token 的 KV 保留事件、状态与时间关系

其核心机制是:新视频进入 → 生成简短推理 → 保留推理 KV → 淘汰过期视觉 KV。

例如,过去一分钟出现了"打开冰箱、拿出牛奶、倒入杯子"三个事件。系统无需永久保存对应的全部图像 Token,而是通过历史推理记录保留事件语义。

这相当于把高维视觉证据压缩成低成本的语言记忆。

注意,RCSM 并不是简单的视频摘要,也不是额外训练一个 Memory Encoder,而是直接复用模型自身生成的 CoT 作为语义记忆。

技术本质:以推理 Token 换取视觉 Token,降低长视频推理的缓存成本。

不过,它并非严格恒定内存:视觉缓存受到滑动窗口约束,但历史推理 Token 仍会累积,只是增长速度远低于原始视觉 Token。

四、创新三:Streaming RLVR------同时优化正确性与回答时机

这是论文最值得关注的后训练部分。

传统 GRPO 通常对一个完整问题采样多条回答,然后根据最终答案计算奖励。

但流式视频不同:模型在每个时间片段都要进行推理,并决定继续等待还是回答。因此,一次 Rollout 不再只是单轮回答,而是一整条跨视频片段的推理与决策轨迹。

ThinkStream 使用 GRPO 优化这种流式轨迹,并设计三个可验证奖励:

1. Accuracy Reward:回答正确性

根据最终回答与标准答案是否匹配给予奖励。为了方便自动验证,RLVR 数据主要采用选择题、Yes/No 和计数题等形式。

2. Format Reward:输出格式

检查模型是否遵循 <think>、<silent>、<response> 等结构化协议,确保能够正确执行流式交互。

3. Time Reward:回答时机

不仅要回答正确,还要在合适时间回答: R t i m e = max ⁡ ( 0 , 1 − ∣ t r e s p − t g t ∣ w ) R_{\mathrm{time}}=\max\left(0,1-\frac{|t_{\mathrm{resp}}-t_{\mathrm{gt}}|}{w}\right) Rtime=max(0,1−w∣tresp−tgt∣)

其中, t r e s p t_{\mathrm{resp}} tresp 为模型回答时刻, t g t t_{\mathrm{gt}} tgt 为标注的合理回答时刻, w w w 为容忍窗口。

回答太早,可能证据不足;回答太晚,即使正确,也失去了实时交互价值。

最终奖励: R = R f o r m a t + R t i m e + R a c c R=R_{\mathrm{format}}+R_{\mathrm{time}}+R_{\mathrm{acc}} R=Rformat+Rtime+Racc

这篇论文的 RLVR 本质上是在优化"答案质量 + 行为时机",而不只是传统问答准确率。

五、数据构建与训练流程

ThinkStream 采用 流式 SFT 冷启动 → Streaming GRPO 两阶段训练。

首先,使用 PySceneDetect 划分视频场景,并利用 Qwen3-VL-235B-A22B-Instruct 生成带时间戳的详细描述。

随后,从交互方式、时间范围和语义类别三个维度合成问题,构造带时间约束的 CoT,使模型学习在不同视频时刻应该观察、思考还是回答。

论文最终构建:

  • 110K Cold-Start 数据:学习流式推理格式与增量思考能力。
  • 9K RLVR 数据:通过可验证奖励进一步优化答案与响应时机。

这里的数据设计非常关键:如果训练数据只有完整视频和最终答案,模型就很难学会"当前证据不足,需要继续观察"。

六、流式推理引擎:为什么还要自己实现?

ThinkStream 不只修改训练算法,还实现了专门的推理后端。

原因是 RCSM 需要动态删除历史视觉 KV,同时持续追加新视频和推理 Token。常规高吞吐推理框架不一定方便支持这种自定义缓存操作。

其推理流程分为:

  • Prefill:采用 Eager 模式处理新到达的视觉 Token。
  • Decode + Prune:通过 CUDA Graph 加速生成和 KV Cache 淘汰。

训练侧采用 FlexAttention 支持特殊 Attention Mask,推理侧实现动态 KV 管理,尽量保证训练和 Rollout 的注意力行为一致。

这一点也很重要:流式训练不仅是改造数据格式,还需要训练时的可见上下文与实际推理时保持一致。

七、实验结果与技术评价

在 OVO-Bench 上,ThinkStream-3B 的平均分达到 59.66 ,超过 StreamForest-7B 的 56.61 和 Streamo-3B 的 51.64。

论文还报告了 StreamingBench Real-Time 上的竞争力,以及长视频输入下更稳定的推理时延。

从方法上看,ThinkStream 的价值不在于提出新的视觉编码器或 Transformer 架构,而是将三个环节连接起来:

增量推理范式 + 推理压缩记忆 + 流式 RLVR。

它也存在值得继续研究的问题:历史 CoT 可能发生事实错误并被持续继承;长期保留推理 Token 仍有缓存增长问题;基于固定答案和时间标注的奖励,也未必能直接覆盖复杂开放式实时交互。

相关推荐
zhanlang02171 天前
HTML 零基础入门到企业实战【第五章 5.4】内嵌网页 iframe 标签:嵌入网页、视频、地图实战
前端·html·音视频
TengTaiTech1 天前
头戴耳机做运动相机外接麦:一颗麦克风同时服务蓝牙通话与 3.5mm 录音的底层重构
数码相机·音视频·蓝牙·qcc
2301_790355972 天前
【技术拆解】短视频配音自动化流程:从文案预处理到 SRT 字幕的 9 个环节
自然语言处理·音视频
大飞哥软件自习室2 天前
视频批量截图并自动拼图是怎么做的:从四步向导、三种截帧模式到等距抽样与日志兜底的实现拆解,附 FFmpeg 调用与线程模型说明
ffmpeg·音视频·批量截图
Black蜡笔小新3 天前
消防控制室/配电房/中控室...视频汇聚平台EasyCVR岗位AI智能监测方案守住关键岗位
大数据·音视频·easycvr
山顶夕景4 天前
【VLM】全双工Full-Duplex多模态交互(李沐)
全双工·视频理解·视频问答·多模态理解
FlightYe4 天前
音视频修炼之容器与协议(四):RTSP详解
android·linux·ffmpeg·音视频·dash
乐橙开放平台4 天前
海康和大华摄像头能统一管理吗?可以通过 GB28181 或视频融合平台接入
网络·后端·物联网·音视频
Mirawork4 天前
Mirawork v0.32.0 更新体验:会话引用、任务分享与音频转写怎么用
人工智能·音视频