【VideoLLM】Agentic Video Understanding视频理解综述

note

这篇综述的核心贡献不是某个模型，而是给出了第一套理解"视频智能体"的语法：用"挑战驱动"的分类法替代"模块驱动"的分类法，用"自适应证据控制"统一了记忆、主动取证、状态追踪与多模态协作，并明确指出该领域正从"prompt 驱动的工具组装"走向"学习决策"。
评估不能只看 final accuracy，还应测：证据使用质量、响应时机、工具决策、成本、交互可靠性。多数现有基准仍以 final-task success 为主，这是领域目前最明显的缺口。
研究动机：传统视频理解通常采用固定抽帧 + VLM 单次推理，难以处理超长视频中的上下文受限、关键证据稀疏、时序因果复杂及多模态信息歧义等问题。系统梳理视频理解从被动感知向 Agent 主动获取、组织和验证证据的技术演进。
四类挑战与对应技术：
- ① 上下文瓶颈：通过视频分层索引、事件摘要与长期记忆压缩上下文；
- ② 证据稀疏：利用 Query-aware 抽帧、视频检索、Crop/Resample 等工具主动定位关键片段；
- ③ 时序因果：通过实体跟踪、事件时间线与状态更新，建模事件先后关系及物体状态变化；
- ④ 多模态歧义：协同调用 ASR、OCR、视觉分析等工具，交叉验证不同模态证据。
视频状态表示分类：将 Agent 的视频信息表示归纳为 Frame Bag（独立帧集合）、Temporal Sequence（时序序列）、Entity Graph（实体关系图）和 Evolving World State（动态世界状态），强调视频理解不应停留在静态帧检索，还需维护可更新的事件与状态信息。
训练与未来方向：总结 Training-Free 工具编排、SFT 专家工具轨迹模仿、RL 基于答案正确性及工具成本优化决策等路线；进一步讨论 Agentic-Native Temporal Modeling 和 Video-Native Agent，使时间定位、状态更新和证据验证成为模型的原生能力。
当前主流方案仍以视频检索、动态抽帧和工具调用为主；长期值得关注的是从「寻找关键帧」发展为「主动维护、推理和验证视频动态状态」。

视频特有挑战	对应的 Agent 设计	代表方法
Context Bottleneck（上下文瓶颈）	Hierarchical Evidence Memory（分层证据记忆）	WorldMM、VideoARM、HAVEN、AVI、Flash-VStream、StreamMeCo
Evidence Sparsity（证据稀疏 / needle-in-a-haystack）	Active Evidence Acquisition（主动取证）	VideoAgent、VCA、VideoAgent2、VideoSeek、LensWalk、EVA、Flow4Agent、DVD、VideoExplorer
Temporal Causality（时序因果）	State & Process Tracking（状态/过程追踪）	SVAgent、GraphVideoAgent、AViLA、ThinkStream、StreamEQA
Multimodal Ambiguity（多模态歧义）	Role-Specialized Coordination（角色分工协作）	OmniLive、MAViD、ViSpeak、G2F-RAG、MAGNET

文章目录

- note
- 一、研究动机：为什么固定pipeline在视频上会系统性失效
- - [1.1 从 Fig.1 看那条分水岭](#1.1 从 Fig.1 看那条分水岭)
  - [1.2 传统方法的两个根本瓶颈](#1.2 传统方法的两个根本瓶颈)
  - [1.3 问题的重新表述](#1.3 问题的重新表述)
- [二、形式化定义：划清 Agent 与 Video LLM 的边界](#二、形式化定义：划清 Agent 与 Video LLM 的边界)
- - [纳入标准（Inclusion Criteria）](#纳入标准（Inclusion Criteria）)
  - 语料范围与相邻领域
- [三、Challenge-to-Design 分类法](#三、Challenge-to-Design 分类法)
- - [3.1 Context Bottleneck → Hierarchical Evidence Memory](#3.1 Context Bottleneck → Hierarchical Evidence Memory)
  - [3.2 Evidence Sparsity → Active Evidence Acquisition](#3.2 Evidence Sparsity → Active Evidence Acquisition)
  - [3.3 Temporal Causality → State & Process Tracking](#3.3 Temporal Causality → State & Process Tracking)
  - [3.4 Multimodal Ambiguity → Role-Specialized Coordination](#3.4 Multimodal Ambiguity → Role-Specialized Coordination)
- [四、四种状态空间范式（State-Space Paradigms）](#四、四种状态空间范式（State-Space Paradigms）)
- [五、学习范式（Learning Paradigms）](#五、学习范式（Learning Paradigms）)
- - [5.1 Training-Free + Inference-Time Control](#5.1 Training-Free + Inference-Time Control)
  - [5.2 SFT + Imitation Learning](#5.2 SFT + Imitation Learning)
  - [5.3 Reinforcement Learning](#5.3 Reinforcement Learning)
  - [5.4 三类监督信号](#5.4 三类监督信号)
- 六、基准测试与「实验性」贡献
- - [6.1 方法全景（Table I + Table II，约 90 篇）](#6.1 方法全景（Table I + Table II，约 90 篇）)
  - [6.2 基准全景（Table III，33 个基准）](#6.2 基准全景（Table III，33 个基准）)
  - - [离线 / 固定访问基准（Offline / Fixed-Access）](#离线 / 固定访问基准（Offline / Fixed-Access）)
    - [在线 / 流式基准（Online / Streaming）](#在线 / 流式基准（Online / Streaming）)
  - [6.3 评估的三条轴线](#6.3 评估的三条轴线)
- 七、两个未来方向：作者最看重的洞见
- - [7.1 Agentic-Native Temporal Modeling](#7.1 Agentic-Native Temporal Modeling)
  - [7.2 Video-Native Agent Modeling](#7.2 Video-Native Agent Modeling)
- 附：原文结构索引

一、研究动机：为什么固定pipeline在视频上会系统性失效

原文：Agentic Video Understanding: A Survey （Xinyu Deng, Siwen Luo, Daochang Liu, The University of Western Australia），2026 年 9 月首发于 arXiv:2609.31713v1

项目页：https://github.com/DXY0711/Awesome-Agentic-Video-Understanding

视频理解经历了三个阶段：把视频当时空信号 （3D 卷积、循环网络、时空注意力）做识别与定位 → 把视频当语言模型的输入 （Video LLM）做问答与推理 → 现在走向视频智能体（Video Agent）：让模型的中间推理状态反过来决定"看哪里、存什么、信什么、何时作答"。

这篇论文的核心贡献不是提出某个模型 ，而是给出第一套理解这个新兴领域的"语法"：

用形式化定义划清"视频智能体"与普通 Video LLM 的边界；
用一套 Challenge-to-Design 分类法，把"为什么需要智能体机制"与"视频特有的瓶颈"一一绑定；
梳理 四种状态空间范式，讲清视频证据是怎么被组织成可操作对象的；
拆解学习方法与三类监督信号，解释智能体行为如何被训练；
用 33 个基准 + ~90 篇方法的对比表，给出领域的全景分布与评估缺口。

作者的判断是：这个方向正从"prompt 驱动的工具组装"走向"学习决策"，同时需要警惕一个反噬------别让 LLM 的语言空间吞掉视频的动态本质。

1.1 从 Fig.1 看那条分水岭

论文 Fig.1 的标题是 From Video Networks to Video Agents: The Shift from Passive Video Processing to Adaptive Evidence Control（从被动视频处理到自适应证据控制）。这条线的左边是 Video Network，中间是 Video LLM，右边是 Video Agent。

关键不在于"有没有大模型"，而在于推理路径是不是预设的。

传统 Video LLM 的典型流程是：均匀/关键帧采样 → 视觉 token 压缩 → 一次性送入 LLM → 生成答案

这条路径的中间状态无法控制下一步该 inspect 哪里、要不要 revisit 某段证据。在以下三类场景里，这个缺陷会直接转化为错误：

场景	具体困难
长视频冗余	大部分帧是冗余的，但答案可能藏在某个极短的瞬间、某个遥远的早期状态，或某个语音/声音/OCR/交互线索里
多模态歧义	同一个事件需要视觉 + 音频 + 文本 + 时间戳交叉印证，单一模态容易误判
流式/在线	未来证据尚未到达，"立刻作答"本身就是过早的（premature）

1.2 传统方法的两个根本瓶颈

论文把它们点得很透：

瓶颈一：上下文瓶颈（Context Bottleneck）

有限 token 与算力预算，迫使稀疏帧采样、视觉 token 削减、长视觉历史压缩。但这些操作本质是有损的------长视频既有冗余，又有必须保留的细粒度细节与跨时间尺度的事件，用单一固定尺度上下文很难两全。

瓶颈二：证据稀疏 + 因果不可得（Needle-in-a-Haystack + Causal Access）

关键证据可能落在采样盲区之外；流式场景里，正确答案所需证据尚未出现，此时作答必然基于不完整信息。

1.3 问题的重新表述

论文把视频理解的本质改写为一个自适应控制问题，由五个动词构成：

where to look （去哪看）→ what to store （存什么）→ which evidence to trust （信哪个）→ whether to observe more （要不要再看）→ when to respond（何时作答）

这也是全文标题里 Agentic 一词的真正含义：不是"会调工具的模型"，而是"推理状态能驱动证据访问与状态演化的系统"。

二、形式化定义：划清 Agent 与 Video LLM 的边界

论文在 Section II 给出了严格的形式化。设视频为时序序列：

V = { x τ } τ = 1 T V = \{x_\tau\}_{\tau=1}^{T} V={xτ}τ=1T

其中 x τ x_\tau xτ 是时刻 τ \tau τ 的多模态观测（视觉 + 音频 + 文本 + 元数据）。令 q q q 为任务指令， T \mathcal{T} T 为可用工具， s k s_k sk 为决策步 k k k 的中间证据状态， V ˉ k \bar{V}_k Vˉk 为该步可用的视频证据（离线时为全视频 V V V，流式时仅为已观察前缀）。

一个视频理解智能体 ，是通过自适应证据状态构建 与动作选择来解决任务的系统：

a k ∼ π θ ( a ∣ q , s k − 1 , V ˉ k , T ) (1) a_k \sim \pi_\theta(a \mid q,\; s_{k-1},\; \bar{V}_k,\; \mathcal{T}) \tag{1} ak∼πθ(a∣q,sk−1,Vˉk,T)(1)

o k = O ( V ˉ k , a k , T ) (2) o_k = \mathcal{O}(\bar{V}_k,\; a_k,\; \mathcal{T}) \tag{2} ok=O(Vˉk,ak,T)(2)

s k = U ( s k − 1 , o k , a k , q ) (3) s_k = \mathcal{U}(s_{k-1},\; o_k,\; a_k,\; q) \tag{3} sk=U(sk−1,ok,ak,q)(3)

三步的语义分别是：

(1) 动作选择 ：策略 π θ \pi_\theta πθ 决定下一步动作------可能是检索某段证据、调用某个工具、验证某条假设、更新状态、等待、终止；
(2) 观察执行 ：观察函数 O \mathcal{O} O 真正去取回对应证据；
(3) 状态更新 ：更新函数 U \mathcal{U} U 把新观测合并进证据状态。

当 K = min ⁡ { k : a k = STOP } K = \min\{k : a_k = \text{STOP}\} K=min{k:ak=STOP} 时，最终输出为：

y = D θ ( q , s K ) y = \mathcal{D}_\theta(q,\; s_K) y=Dθ(q,sK)

纳入标准（Inclusion Criteria）

论文给出了三条硬标准，用来区分"真 Agent"和"套了 Agent 壳的 Video LLM"：

视频是主要输入源；
任务落在视频理解范围内（Video QA、字幕、时序定位、检索、摘要、流式视频理解等）；
方法表现出上述 Agentic 控制 ------即维护中间证据状态 并自适应选择状态演化、工具使用、交互或终止动作。

只要不满足条件 3，哪怕号称"视频 Agent"，也不进核心语料。

语料范围与相邻领域

时间跨度：聚焦 2024--2026，兼顾少量奠基性基准/数据集与视频理解方法；
来源：ICML / ICLR / NeurIPS / CVPR / ICCV / ECCV，及高度相关预印本；
明确排除（仅在能阐明机制时才提及）：具身/第一人称智能体（从视频演示学习）、Computer-use Agent（从屏幕录制训练）、视频生成/编辑 Agent。

三、Challenge-to-Design 分类法

视频特有挑战	对应的 Agent 设计	代表方法
Context Bottleneck（上下文瓶颈）	Hierarchical Evidence Memory（分层证据记忆）	WorldMM、VideoARM、HAVEN、AVI、Flash-VStream、StreamMeCo
Evidence Sparsity（证据稀疏 / needle-in-a-haystack）	Active Evidence Acquisition（主动取证）	VideoAgent、VCA、VideoAgent2、VideoSeek、LensWalk、EVA、Flow4Agent、DVD、VideoExplorer
Temporal Causality（时序因果）	State & Process Tracking（状态/过程追踪）	SVAgent、GraphVideoAgent、AViLA、ThinkStream、StreamEQA
Multimodal Ambiguity（多模态歧义）	Role-Specialized Coordination（角色分工协作）	OmniLive、MAViD、ViSpeak、G2F-RAG、MAGNET

作者的主张很尖锐：不要按"有没有内存、有没有工具、有没有多智能体"来分类------通用 Agent 也用这些。要问的是"视频的哪个瓶颈，让这个机制变得必要"。

论文要求每篇论文按其问题表述中首要凸显的挑战归类（因为同一方法常含多个模块，只能落一个主格子）。

3.1 Context Bottleneck → Hierarchical Evidence Memory

为什么需要分层记忆：单一扁平/固定尺度的上下文，难以同时保留全局结构与细粒度证据。

代表性工作与思路：

方法	记忆设计
WorldMM	把 episodic / semantic / visual 三级记忆分开，检索智能体按需选择记忆源与尺度
VideoARM	observe--think--act--memorize 循环，构建分层多模态记忆，避免重复处理同一证据
HAVEN	加入视听实体聚合（audiovisual entity cohesion），保留人物/对象/声音/时间段之间的链接
AVI	构建实体图视频知识库，支持 retrieve--perceive--review
Flash-VStream / StreamChat / ProVideLLM	用 cache / 记忆结构避免反复处理完整视觉历史
StreamMeCo	研究长期记忆压缩如何不损失检索质量

这里有两个容易被忽略、但极其关键的洞见：

出处（Provenance）比压缩率更重要 。记忆会被拿去检索、推理、决策，所以必须保留足够的可回溯链接------相关帧、时间区间、对应模态、对应实体。否则抽象与压缩会引入事实与时序失真，并向下游传播。
效率与可验证性之间存在 trade-off。好的视频记忆既要足够紧凑以便推理，又要保留足够接地（grounding）以便"需要时能回视频里找回/核对原始证据"。

3.2 Evidence Sparsity → Active Evidence Acquisition

问题的形态：关键证据可能落在采样盲区之外，均匀/关键帧采样在这些情况下是脆弱的。

解决思路是把"看哪里"变成显式决策------Agent 观察部分证据、推理"还缺什么"、选择下一步观测或工具动作、迭代推进。

代表性工作：

VideoAgent：LLM 控制器规划证据子目标（subgoal），检索与任务相关的视觉证据；
VCA：按 curiosity 信号探索候选视频片段；
VideoAgent2：uncertainty-aware CoT，判断何时需要额外取证并自适应调整检索计划；
VideoSeek / LensWalk：让 Agent 在工具、时间范围、采样密度之间做选择（LensWalk 2026 的核心卖点就是"planning how you see"）；
EVA ：把 seek--plan--reflect 过程做成可训练的端到端流程；
Flow4Agent ：用运动先验在推理前压制冗余的时空信息，属效率向工作；
DVD：把长视频当可搜索数据库，在不同粒度上做工具调用；
VideoExplorer：问题分解 → 接地相关时刻 → 任务引导的感知。

流式场景把这个难题又推了一步：在线设置下，Agent 必须从已观察前缀中决策，并判断"现在是否已有足够证据，可以作答了"。

3.3 Temporal Causality → State & Process Tracking

为什么"找一帧"不够 ：视频不只是视觉观测的集合，而是有序的变化记录。很多问题问的是"事件 A 之前发生了什么""对象是否改变了状态""人为什么这么做""场景如何演化""哪个实体跨片段持续存在"。

这要求 Agent 维护时序状态------它决定了论文后面提出的 Evolving World State 范式，也决定了流式场景下的"响应就绪度"。

3.4 Multimodal Ambiguity → Role-Specialized Coordination

当证据分散在视觉/音频/文本/交互中、单模态判断容易冲突时，让不同角色的 Agent 分工协作（各自的提案、执行、修订）比单一全能模型更鲁棒。论文指出，这类协调不该只靠 prompt 定义------协调决策本身也应该是学习到的行为。

四、四种状态空间范式（State-Space Paradigms）

视频证据被组织成什么形态，直接决定了 Agent 的"操作空间"。论文给出四个范式，它们层层递进：

范式	视频被建模为...	核心优势	主要局限
P-I Bag of Frames	离散视觉单元：帧 / 关键帧 / 片段	紧凑、高效、兼容现有 VLM、能直接接地（grounded）到具体帧	无显式时序、无实体持续性、无状态迁移
P-II Sequence of Frames	带时序位置的有序帧序列	能沿时间线解释事件	仍非持久化的实体关系
P-III Graph of Entities	关系化状态：实体-关系图	支持长程关联、多跳检索、实体持久化、多模态融合	表征失真风险------字幕可能漏掉细节、图可能错连实体；结构整齐但事实接错地
P-IV Evolving World State	因果更新的展开情境（world state）	支持状态预测、不确定性建模、"响应就绪度"判断	需要持续可修订、因果有效、更新正确

这四种范式的演进，本质是"接地性（grounding）"与"结构化程度"的权衡：

P-I/P-II 接地最好（能指着帧说话），但推理结构弱；
P-III/P-IV 结构化强、能做长程推理，但每一步抽象都在累积失真风险------这正是 3.1 节强调 provenance 的原因。

五、学习范式（Learning Paradigms）

智能体行为可以是手写规则 ，也可以是学出来的 。论文把方法归为三类，并强调它们可以组合、并非互斥。

5.1 Training-Free + Inference-Time Control

用 prompt + 工具 + 检索 + 记忆规则 + 终止准则组装出 Agent，不训练专门策略。

优点：门槛低、见效快、易调试；
致命弱点：policy 脆弱。容易出现 oversearch、过早停止、重复调用工具、信任噪声工具、或遵循一个"语言上流畅但弱接地（weakly grounded）"的计划。

5.2 SFT + Imitation Learning

答案级 SFT 太弱：它不教"如何取证"，只给最终结果；
趋势是轨迹模仿冷启动：把"看哪些帧 → 调哪些工具 → 如何更新状态 → 何时停"的完整轨迹当作监督信号。代表工作：VideoExplorer、LongVideo-R1、SAGE、VITED。

5.3 Reinforcement Learning

非常适合视频 Agent------因为"往哪看、存什么、何时调工具、何时停止"这些决策往往没有直接监督信号。

难点一：信用分配（credit assignment）。稀疏奖励无法分辨一次成功来自可靠策略还是偶然捷径；
难点二：奖励有效性（reward validity） 。如果奖励只看答案对不对，就会漏掉搜索效率、证据可靠性、是否伪推理等关键质量。

5.4 三类监督信号

论文 Section VI 把"训练数据"按信号类型拆成三类，这是理解后续方法的关键：

A. Trajectory Supervision（轨迹监督）

记录 Agent 从证据到答案的一步步路径：观测、决策、状态变化、最终响应，丰富的轨迹还包括失败分支、修订、停止决策与成本。

对视频而言，轨迹比纯文本 Agent 复杂得多------每一步都要标明涉及的视频单元：frames、clips、transcript spans、audio segments、object tracks、temporal segments、memory entries，并记录这些观测如何改变了下一步动作。代表工作：Agent-of-Thoughts Distillation（蒸馏工具支持的分解与推理轨迹）、ReWatch-R1（自举带时间戳的多 Agent ReAct 风格轨迹）、VITED（蒸馏时序证据链）、VTimeCoT（把推理表示为带标注的视觉时序画布）、VideoExplorer。

B. Grounding Supervision

把 claim、答案、中间状态、动作锚定到支撑它们的视频证据上，包括：时间区间、空间区域、实体身份、对象轨迹、音频线索、转写片段、OCR 证据、状态变化。

为什么要强调它？因为一个语义上很通顺的答案，可能由错误时刻的证据支撑 ；而一条推理轨迹，也可能漂离了实际观察到的视觉证据。

代表工作：VideoMind（先接地到时序候选时刻再生成答案）、VideoHV-Agent（把候选答案转成假设并用局部化视频证据验证）、Refer-Agent（扩展到空间证据：对象存在性、身份一致性、mask 可靠性）、A4VL（把 query 相关感知线索对齐到相关视频块）、MAGNET（跨多视频 haystack 的视听接地）。

论文在这里提出了一个重要主张 ：长期看，grounding 监督应同时包含负证据 ------Agent 不仅要知道哪些片段支持答案，还要知道哪些被检视过的片段不支持竞争假设。

C. Preference and Reward Supervision（偏好与奖励监督）

与前两者不同：它不记录过程、也不锚定证据，而是对"答案质量、证据选择、推理轨迹、工具调用、完整 rollout"给出比较信号或标量信号。

代表工作：V-Agent（用小视频偏好数据集微调检索导向 VLM）、DeepVideo-R1（围绕样本难度做 regressive GRPO）、Video-R1（temporal-aware 奖励）、ThinkStream（为增量推理与 watch-think-speak 时序推导可自动验证的奖励）、R3-Streaming（路由奖励反映响应就绪度、延迟、内存压力、快慢模型选择）。

六、基准测试与「实验性」贡献

重要说明 ：这是一篇 Survey ，所以没有自己的实验结果 。它的"实验性贡献"体现在 Table I / II / III 三张系统对比表，以及从表中提炼出的可量化分布规律。

6.1 方法全景（Table I + Table II，约 90 篇）

每篇论文被标注为：Primary Challenge / State-Space Paradigm / 是否 Training-Free·SFT·RL / 是否使用 Trajectory·Grounding·Reward 监督。

从中可以读出四条领域级规律：

时间上集中爆发 ：绝大多数方法集中在 2025 年 （Table I 几乎整页是 2025），2026 年继续扩张------这是一个新兴且高速成长的方向；
挑战分布：Evidence Sparsity 与 Temporal Causality 占比最高，Context Bottleneck 次之，Multimodal Ambiguity 最少------说明当前主战场是**"去哪取证"和"如何追踪时序"**；
范式迁移 ：2024 年以 P-I / P-II / P-III 为主，到 2026 年 P-IV（Evolving World State）方法显著涌现（R3-Streaming、ThinkStream、Proact-VL、Takusen、Thinking-QwenVL 等），与流式/在线理解的兴起同步；
学习方法迁移 ：Training-Free 仍占主流，但 RL 与 Reward 监督类方法在 2025--2026 快速增多（Video-R1、Time-R1、DeepVideo-R1、LongVideo-R1），领域正从"prompt 组装"走向"学习决策"。

6.2 基准全景（Table III，33 个基准）

论文按 video-access regime（视频访问方式） 而非能力维度分组------这是一个很有价值的方法论观点。

离线 / 固定访问基准（Offline / Fixed-Access）

特点：预测前给你完整视频。主要衡量 QA、时序定位、程序理解。

基准	年份	模式	平均时长	规模	任务
Charades-STA	2017	offline	~30s	1,334 videos / 3,720	Temporal grounding
MSRVTT-QA	2017	offline	15.2s	2,990 / 72,821	Open-ended QA
YouCook2	2017	offline	315.6s	210 / 210	程序分割
ActivityNet-QA	2019	offline	180.0s	800 / 8,000	Open-ended QA
How2QA	2020	offline	60.0s	1,166 / 2,852	MCQ + 时刻定位
NExT-QA	2021	offline	44.0s	1,000 / 8,564	MCQ + open-ended QA
STAR	2021	offline	29.7s	955 / 7,377	MCQ
EgoSchema	2023	offline	180.0s	5,063 clips / 5,063	MCQ
MVBench	2023	offline	16.0s	3,641 / 4,000	MCQ
Ego-Exo4D	2023	offline	156.0s	1,121 takes	多任务
HiREST	2023	offline	263s	1,391 / 546	检索/时刻检索分割/步骤字幕
PerceptionTest	2023	offline	23.0s	3,525	跟踪/定位/grounded QA
Video-Bench	2023	offline	56.0s	5,917 / 17,036	MCQ
LongVideoBench	2024	offline	473.0s	3,011 / 5,341	MCQ
LVBench	2024	offline	4,101.0s（~68min）	103 / 1,549	MCQ
MLVU	2024	offline	180--7,200s	1,334(dev) / 2,593(dev)	MCQ + open-ended
TempCompass	2024	offline	11.4s	410 / 7,540	MCQ + binary QA + 字幕
Video-MME	2024	offline	1,017.9s	900 / 2,700	MCQ
MMBench-Video	2024	offline	165.4s	609 / 1,998	Open-ended QA
LongVALE	2024	offline	235.0s	1,171 / 13,867	时序定位/稠密字幕
Video-MMMU	2025	offline	506.2s	300 / 900	MCQ
Video-TT	2025	offline	<65s	1,000 / 5,000	Open QA / MCQ / 鲁棒性
Ego2Web	2026	offline	180.0s	500 pairs / 500	Web 任务完成
VideoDR	2026	offline	--	500 / 500	开放网络事实 QA / 浏览器搜索

在线 / 流式基准（Online / Streaming）

特点：加了时间约束------证据何时可用、何时必须响应。这才是 Agentic 评估的主场。

基准	年份	模式	时长	规模	任务
StreamingBench	2024	online	3--1,440s	900 / 4,500	Timestamped MCQ / 顺序 QA / 主动输出
OVO-Bench	2025	online	--	644 / 3,100	MCQ + open-ended QA
OmniMMI	2025	online	324.3s	1,121 / 2,290	流式 QA / 状态接地 / 多轮主动响应
OmniPro	2026	online	189.0s	1,262 / 2,700	主动流式 QA / 响应时机

表格备注：Video Mode 描述的是对视频证据的访问方式，不是指外部网站或工具是否在线；Evaluation Items 是评测实例数；时长多为均值，范围或上界另标；MCQ = 多选题，QA = 问答。

6.3 评估的三条轴线

论文指出，基准之间的差异可归结为三条独立轴线：

Evidence Horizon（证据跨度）：短视频 vs 长尾分布证据；
Access Regime（访问方式）：完整视频输入 vs 因果观察（causal access）；
Action Scope（动作范围）：答案生成 vs 主动响应 vs 外部执行。

其中最后一条是**从"能回答什么"到"证据可用时该做什么"**的范式升级。

七、两个未来方向：作者最看重的洞见

7.1 Agentic-Native Temporal Modeling

现有视频模型把时间编码进卷积、循环状态、时空注意力、timestamp-aware token 与记忆结构。但对视频 Agent 而言，时间应该被暴露成一个"可操作的状态"，而不只是输入的一部分。

作者认为 Agent 需要能：

查询"我已经观察到了什么"；
追溯支撑当前信念的证据链；
修订不确定的状态；
用这些信息指导下一步的 verify / respond / act。

关键方向是：用一个统一的时间-状态接口（temporal-state interface） ，把"显式接地、读取、更新、停止"这些操作串起来，并把时序锚定的证据与不确定性，连接到"是否观察、检索、验证、等待、响应、行动"的决策上。评估要测的不再是静态准确率，而是 Agent 能否保持正确的时序信念、能否随证据到来更新它、能否选对时刻、能否避免过早或不支持的决策。

7.2 Video-Native Agent Modeling

当前多数系统用 LLM / MLLM 作中心推理器 ：把视频先转成文字摘要、检索证据、结构化记忆或多模态 token，然后推理主要发生在语言主导的空间。

这种 pipeline 的优势是擅长指令遵循、工具调用、检索；但代价是会丢掉细粒度视觉动态------运动、状态变化、交互、动作后果。

Video-Native Agent 的提问方式是：感知骨干能不能直接表征这些动态，并暴露给下游 Agent 推理？ 未来 Agent 可能用运动、状态迁移、预测性场景演化、动作条件化结果来表征，而不是把视频模型仅仅当作 LLM 控制器的特征供应商。世界模型、生成式控制、video-to-action 学习是这一方向的重要积木。

核心问题是：这类骨干能否改善状态变化感知、动作预测（anticipation）、下游任务成功率------尤其在程序性、操作型、具身场景中。

附：原文结构索引

章节	内容
I. Introduction	从视频网络到 Video LLM 再到 Video Agent 的演进
II. Scope and Definitions	任务定义、形式化 Agent Loop、纳入标准、语料范围
III. Challenge-to-Design Taxonomy	四大挑战 → 四类设计的映射（全文核心）
IV. State Space Paradigms	P-I ~ P-IV 四种状态空间范式
V. Learning Paradigms	Training-Free / Imitation / RL
VI. Data and Supervision	Trajectory / Grounding / Preference-Reward
VII. Benchmarks and Evaluation	33 个基准，按 video-access regime 分组
VIII. Open Challenges	Agentic-Native Temporal Modeling、Video-Native Agent Modeling
IX. Conclusion	总结与展望