当视频理解撞上大语言模型：一篇 37 页综述的全景拆解

论文信息

标题：Video Understanding with Large Language Models: A Survey

作者：Yunlong Tang*, Jing Bi*, Siting Xu* 等 19 人（通讯：Jiebo Luo、Chenliang Xu）

机构：罗切斯特大学 + 南方科技大学 + 香港大学

arXiv：2312.17432（2023-12-29，Preprint v1）

资源仓库：https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding

一、介绍：视频理解的第四次换发动机

这篇综述的篇幅（37 页、300+ 篇引用、28 个模型逐个拆）在综述里算得上诚意之作，但它真正的价值不是"全"，而是把一个正在发生的范式迁移讲清楚了。开篇给的这张四阶段演化图，我建议做视频技术的读者都看一眼，因为它和视频编码的代际更替故事惊人地相似：

第一阶段：传统方法。 SIFT、SURF、HOG 抓关键信息，背景减除、光流、IDT（改进密集轨迹）建运动模型，再配上 HMM、SVM、随机森林做分类。这一阶段像极了 H.264 之前的手工模式时代------人对信号的先验知识写进特征里，通用性差但每个模块都能讲出物理意义。

第二阶段：神经视频模型。 DeepVideo 第一次把 CNN 搬进视频（但因为没用好运动信息，居然打不过手工特征天花板），Two-stream 网络让 RGB 流 + 光流流双管齐下，然后是 C3D 开辟 3D 分支、I3D 把 2D Inception"膨胀"成 3D 一战封神，再到 SlowFast、X3D 追求效率、TimeSformer/ViViT 引入 Transformer。这一阶段对应编码器的"神经网络化"前夜：架构创新驱动，但每个模型还得为具体任务单独训练。

第三阶段：自监督视频预训练。 VideoBERT 打响第一枪（把视频特征用层级 k-means 离散化后套 BERT 的预训练套路），随后 VideoMAE、MaskFeat、CLIP-ViP 等"预训练 + 微调"范式全面铺开。对应的正是编码界的"通用模型 + 少量适配"思想------只是这时候的"适配"还叫 fine-tuning。

第四阶段：Vid-LLMs。 LLM 的 in-context learning 能力 + 指令微调，让视频理解模型第一次拥有了"通用任务求解器"的形态：能对话、能推理、能带着常识回答开放问题。这就是这篇综述的主角。

为什么要专门为"视频 + LLM"写一篇综述？作者的论证很直接：之前的综述要么只覆盖单一子任务（视频描述、动作识别），要么覆盖多模态基础模型但不区分图像和视频。而视频和图像有本质区别------时序。视频理解模型要处理的东西是"随时间演化的空间结构 + 跨帧一致性 + 音画同步"，这套约束在纯图像 MLLM 里根本不存在。

综述把所有 Vid-LLM 工作分成四大类，这个分类法是全文的骨架，后面的原理、公式、踩坑全部挂在这棵树上：

LLM-based Video Agents（智能体路线）：LLM 当总指挥，调用视觉/语音模型当"翻译官"，把视频翻译成文字再推理。零训练，纯编排。
Vid-LLM Pretraining（预训练路线）：从底层造视频基座模型，用监督或对比学习训练，LLM 本身承担编码器和解码器。
Vid-LLM Instruction Tuning（指令微调路线）：冻结视觉骨干和 LLM，只训中间的 adapter。按 adapter 的位置又分三种：连接式（connective，插在视觉模型和 LLM 之间）、插入式（insertive，插进 LLM 内部）、混合式。
Hybrid Methods（混合路线）：微调 + 智能体的杂交，微调获得的基础能力之上再叠视觉反馈。

一句话总结这篇综述：它是一张 2023 年底 Vid-LLM 领域的"全家福 + 系统解剖图 + 体检报告"------全家福是 28 个模型的配置对比，解剖图是四大技术路线的架构拆解，体检报告是它毫不客气列出的五大未解难题（细粒度、长视频、多模态对齐、人机交互、幻觉）。

下面按老规矩，原理、公式、图示、踩坑、源码、效果，一层层来。先声明一点：这是一篇综述，没有自己的"方法公式"和"实验数字"，所以公式部分我会在明确标注的前提下重构各流派背后的标准数学形式，效果对比部分则基于综述自带的 28 模型配置大表和数据集规模数据展开------这也是综述里真正"可量化"的内容。

二、原理：四条技术路线的解剖

2.1 先看考题：视频理解的四大任务族

综述把任务按"理解深度递增"排成四族：

识别与预测（Recognition & Anticipation）：动作分类、动作检测、未来动作预测------"视频里发生了什么、接下来会发生什么"。这是最老的任务族，Kinetics-400、ActivityNet 这些数据集都在这里。
描述与摘要（Captioning & Summarization）：微观上给每个时刻写详细描述（密集描述、片段描述），宏观上把整条视频浓缩成摘要。一句话概括区别：captioning 是"逐帧写作文"，summarization 是"写中心思想"。
定位与检索（Grounding & Retrieval）：给一句话，找出视频里对应的片段（时序定位），甚至时空联合定位（"哪个人在哪段时间里做了什么"，时空管 tube）；或者反向，拿文本在海量视频库里检索。
问答（VideoQA）：多选题 QA 和开放式 QA。开放式 QA 正在从"多分类"（从预设答案池里挑）转向"生成式"（直接生成答案），这个转变本身就是 LLM 时代带来的。

这四族像编码评测里的指标分层：识别是客观指标（PSNR 一锤定音），问答是主观质量（得找真人评），难度和开放度逐级上升。

展开说两个容易被低估的任务族。Grounding 看着简单，实际是四族里最"硬"的 ：时序定位要求模型输出的是时间段而不是一句话------生成模型天生不擅长输出精确的连续量（这也是 Vid2Seq 要发明"时间 token"的原因：把连续量离散化成 LLM 会输出的东西）；时空联合 grounding 更进一步，要求输出"时空管"（spatio-temporal tube），等于同时做跟踪和定位。预测（Anticipation）则是唯一"没有真值可对照当下"的任务：预测未来动作的评测只能和稀疏标注的未来事件对答案，而未来本来就有多种可能------这像编码里的码率预测，评的不是"预测对了没"而是"预测的分布合不合理"，但目前领域的指标（mAP、ED）还没细到这一层。

问答族的内部迁移也值得注意：传统开放式 QA 被当作"从全局答案池里做多分类"（答案空间有限，直接分类就完事），LLM 时代转向真正的生成式回答------评估方式还没跟上：分类时代用 accuracy，生成时代借用 caption 指标（BLEU/CIDEr）或 GPT 打分，两套尺子接缝处的分数不可比。翻旧论文和看新论文的数字时，先确认它用的是哪把尺。

2.2 通用解剖：一台 Vid-LLM 的标准器官

不管哪条路线，一台 Vid-LLM 都由四个器官组成：

视觉编码器（眼睛），分两派：

帧级编码器：每帧独立过 CLIP ViT（绝对主流），视频被当成"带时间戳的图片序列"。优点是可以白嫖海量图文对齐预训练，缺点是时序建模全靠后置模块补。
时序编码器：TimeSformer、ViViT 这类时空注意力模型，把视频当整体建模。Vid2Seq、mPLUG-video 用的是这一派。

语言模型（大脑），也分两截：

编码端：BERT/T5 这类带 encoder 的模型负责把问题和指令变成 embedding（BLIP-2 的 Q-former 就是干这个的）；LLaMA 之后就简单粗暴了------文本和视频统一 token 化直接喂 decoder。
解码端：从早期各任务专用 transformer 换成了统一的 LLM 解码器（Vicuna 7B/13B 是当时的事实标准，因为它免费、够用、微调友好）。

耳朵（音频/语音） ：综述特意区分了 sound（环境音） 和 speech（语音）------speech 走 Whisper 转文字，sound 走 BEATs、ImageBind 这类音频编码器。这个区分很重要，后面踩坑点里会看到大量模型其实"聋"。

adapter（接口）：视觉特征和语言空间的"协议转换器"。线性投影层（简单粗暴）、MLP、交叉注意力、Q-former（可学习的 query 向量去"问"视觉特征）、LoRA（低秩适配 LLM 内部权重）------adapter 的选择正是指令微调路线的子分类依据。

这里值得展开一句：综述把 adapter 的职责拆成两层------除了"桥接模态"，它还承担**"防遗忘"：预训练模型见过的知识冻结在原权重里，adapter 只学"新任务怎么问、老知识怎么用"，这和编码里的"核心语法不兼容改动放进 profile、扩展放进 SEI"是同一种工程哲学。另外别忽视视觉 token 数量**这个隐形超参：帧级 CLIP 每帧 256 个 patch token，8 帧就是 2048 个 token，还没算文本就已经逼近很多 LLM 的舒适区上限------所以 mPLUG-video 要加"视觉抽象器"降序列长、Chat-UniVi 要做"时空合并"、MovieChat 要做 token 合并。所有这些花活，本质上都是在做视觉通路的"码率控制"。

2.3 路线一：LLM-based Video Agents------"外包型"选手

核心思想：不训练，只编排。LLM 当总控，视觉模型、语音模型当外包工人，把视频翻译成文字再让 LLM 推理。

Socratic Models（2022.05）：开山之作。视频、音频、文本三组预训练模型之间用"语言提示"接力，不训练不微调，直接拼出一个"语言形式的世界状态记录"。用全帧平均 CLIP 属性算相似度，在 MSR-VTT 上做视频-文本检索。注意：它只支持语音（转文字），不支持环境音。
Video ChatCaptioner（2023.04）：很有意思的"审问式"设计------ChatGPT 当提问者，从采样帧里挑帧、提问题；BLIP-2 当回答者，看着被挑中的帧详细作答；最后 ChatGPT 把整场对话综合成视频描述。本质是用"多轮问答"逼出比单轮 captioning 更细的信息。在 MSVD 和 WebVid 上评测。
VLog（2023.04）："把视频当长文档处理"。BLIP2 做整帧描述 + GRiT 做区域描述 + Whisper 做语音转写，全部喂给 ChatGPT 做推理汇总。
ChatVideo（2023.04） ：以 tracklet（目标轨迹） 为基本单元而非逐帧处理视频，外观、运动、音频三线并进，支持用户交互式追问。用 Whisper 和 Wav2Vec 2.0 处理音频。
MM-VID（2023.11）：微软出品，直奔长视频。ASR + 场景切分先把小时级视频切成片段，GPT-4V 逐段写描述，GPT-4 汇总成完整"剧本"。支持角色识别、音频描述生成（给视障用户的无障碍服务），在 Ego4D 等数据上验证。
MM-Narrator（2023.11） ：GPT-4 做长视频音频描述（AD）生成的系统，特点是记忆增强的自回归生成------靠记忆机制维持上下文连贯性和角色重识别，还搞了基于复杂度的多模态 in-context learning 和分段式 GPT-4 评估器，在 MAD-eval 上评测。
MISAR（2023.06） ：AR 场景的指令系统，GPT-3.5 负责用背景知识精修视频描述，配合菜谱指令和用户语音（ASR 转写）做状态估计，输出走 TTS。作者自己承认的短板很典型：上游视频描述模型的错误会沿着管线逐级传播，而且不理解环境音。

Agent 路线的集体画像：零训练成本、即插即用、可解释性强（中间产物全是文字），代价是延迟高、token 贵、错误传播、且整个系统的视觉理解上限被封死在外包工人的能力上。

2.4 路线二：Vid-LLM Pretraining------"自建基座型"选手

核心思想：不再把 LLM 当外包翻译，而是从预训练层面就把视频和语言焊在一起，LLM 同时承担编码和解码。

LaViLa（2022.12） ：自我中心视频（egocentric）的多面手。它最聪明的设计是解决"第一视角视频没有密集标注"的问题：用 Narrator （一个被视觉条件化的 GPT-2，在每个 Transformer decoder 层前插交叉注意力）从视频片段自动生成密集旁白，再用 Rephraser（T5-large）对旁白做改写扩充多样性。然后在 Ego4D 的视频-旁白对上做双流对比预训练。评测覆盖 Epic-Kitchens、Ego4D、EGTEA、CharadesEgo。
Vid2Seq（2023.02） ：密集视频描述专精。杀手锏是时间 token------把时间戳直接编码成特殊 token 塞进序列，让 T5（仅 0.2B 参数！）同时预测事件边界和描述文本。预训练数据是 YT-Temporal-1B 上的无标注长视频，用语音转写免费生成"伪事件边界 + 伪描述"。这是把监督信号从数据里"低成本榨取"的典范。
VAST（2023.05） ：全模态路线。视频、音频、语音、文本全部通过编码器对齐，预训练目标三件套：全模态对比损失 + 匹配损失 + 生成损失，在自建的 VAST-27M（2700 万 clips）上预训练。64 张 V100 的算力投入也说明这条路线是真·烧钱。
Merlin（2023.12） ：面向"预见未来"------用 Foresight Pre-Training（FPT）和 Foresight Instruction-Tuning（FIT）建模并预测目标轨迹和未来事件，覆盖目标跟踪、视频指代、关系推理、未来推理四类任务。

2.5 路线三：Instruction Tuning------"冻结主干 + 微调接口"的主力军

这是阵营最大的一路（综述里 12+ 个模型），核心是 PEFT（参数高效微调）：视觉骨干和 LLM 都冻结，只训 adapter。按 adapter 位置分三小类：

（a）连接式 adapter（插在视觉模型和 LLM 之间）------主流中的主流：

Video-LLaMA（2023.06）：双分支设计。VL 分支用 ViT-G/14 + BLIP-2 Q-former 做视频编码（WebVid-2M + LLaVA 595K 图文对预训练）；AL 分支用 ImageBind-Huge + 两层音频 Q-former 处理环境音。支持环境音但不支持语音。
VALLEY（2023.06）：CLIP ViT-L/14 抽帧特征 + 时序建模模块聚合成统一视觉 token + 投影层对齐，骨干 Stable-Vicuna。两阶段训练：先 CC3M + WebVid2M 对齐，再用自建 73K 视频指令 + 150K 图像指令 + 11K VideoChat 数据微调。
Video-ChatGPT（2023.06） ：贡献了一整套半自动指令数据构建流水线------BLIP-2 做帧描述、GRiT 做场景物体描述、Tag2Text 做关键帧打标，GPT-3.5 再加工成问答对，人工辅助质检，基于 ActivityNet 产出 100K 视频指令对。这个数据工程本身比模型更值得抄。
MovieChat（2023.07） ：长视频专精，喂 2048 帧（全场最大）。核心是长短期记忆：滑动窗口把帧塞进短期记忆，满了就把最早的帧 token 弹出、用 ToMe 式余弦相似度合并进长期记忆。推理分全局模式（只看长期记忆）和断点模式（长期记忆 + 当前帧 + 短期记忆）。配了 MovieChat-1K 数据集（1K 视频、14K 人工标注）。
LLaMA-VQA（2023.10）：专治 LLM 的语言偏见------把 <视频，问题，答案> 三元组里的"源对"和"目标标签"翻转组合预测，强迫模型真看视频而不是靠语言先验猜答案。这个反偏见设计很值得借鉴。
Video-LLaVA（2023.11） ：用 LanguageBind 把图像和视频统一到同一个特征空间再投影，图混视频混合训练，在 MSRVTT、MSVD、TGIF、ActivityNet 上全面涨点。
Chat-UniVi（2023.11）：动态视觉 token，一次建模空间和时间（64 帧），多尺度表征兼顾高层语义和低层细节。
mPLUG-video（2023.06）：中文视频理解专精，TimeSformer + 视觉抽象器降序列长度，冻结中文 GPT-3，基于 1000 万对的 Youku-mPLUG 数据集。
其他：LLMVA-GEBC（CVPR 2023 GEBC 竞赛冠军方案，多特征提取器 + 边界嵌入）、Macaw-LLM（一步指令微调）、AutoAD II（电影音频描述，CLIP + 角色库 + 门控交叉注意力 GPT-2）、FAVOR（因果 Q-Former 对齐音视频特征，顺手发布了 AVEB 评测基准，含 6 个单模态任务 + 5 个音视频联合任务）。

（b）插入式 adapter（插进 LLM 内部） ------综述的判断是：这类方法泛化到新任务的能力更强，因为知识直接注入 LLM 的计算流：

Otter（2023.05）：基于 OpenFlamingo 框架，主打多模态 in-context learning。数据是特制的 MIMIC-IT（280 万上下文指令-响应对），可训练参数约 1.3B。
VideoLLM（2023.05）：通用框架，支持在线推理、未来预测、记忆检索、密集预测；微调方式齐全------Basic Tuning、Partial Tuning、PEFT（LoRA / Prompt Tuning / Prefix Tuning）一应俱全，适合当教学参考。

（c）混合式 adapter（连接 + 插入都用）：

VTimeLLM（2023.11） ：时序定位专精，三阶段边界感知训练：① 特征对齐（LCS-558K 图文对）→ ② 边界感知（把多事件数据集模板化成 QA 格式，用 InternVid-10M-FLT 训练事件边界意识）→ ③ 指令微调（ActivityNet Captions + DiDeMo）。这个"先教会时间边界概念、再教对话"的课程学习设计，是全表里训练流程最讲究的。
GPT4Video（2023.11）：理解 + 生成一体。用 Abstractor（交叉注意力）在时空两轴压缩视频信息，LoRA 微调冻结的 LLaMA；对齐用 VideoChat-11k，指令遵循和安全对齐用 GPT4Video-50k，还能反向接文生视频。

2.6 路线四：Hybrid------"微调 + 智能体"双修

VideoChat（2023.05）：对话式视频理解系统的代表作，双形态：VideoChat-Text（视频转文字再分析）和 VideoChat-Embed（端到端视频对话），配了专门的 VideoChat-11k 指令数据集。时空推理和因果推理是它的主攻方向。
PG-Video-LLaVA（2023.11）：在 Video-LLaVA 基础上加了像素级定位（video object grounding），支持音频输入。综述也如实标注：该模型细节"摘要中未说明"。

三、公式：各流派背后的标准数学骨架

老规矩先声明：这篇综述本身不推公式，以下是我按综述对各方法的文字描述，重构出的各范式标准数学形式（标注对应方法），不是论文原文公式。借这个机会把 Vid-LLM 的数学地基过一遍。

3.1 自回归生成目标（所有路线的训练底座）

LLM 解码端统一用下一 token 预测的交叉熵：

L CE = − ∑ t = 1 T log ⁡ p θ ( x t ∣ x < t , V ) \mathcal{L}{\text{CE}} = -\sum{t=1}^{T} \log p_\theta\big(x_t \,\big|\, x_{<t},\, \mathbf{V}\big) LCE=−t=1∑Tlogpθ(xt x<t,V)

其中 x t x_t xt 是第 t t t 个文本 token， V \mathbf{V} V 是视觉 token 序列， θ \theta θ 是可训练参数（全参微调时是整个 LLM，PEFT 时只是 adapter）。视觉 token 在这里和文本 token 完全同权------这是 Vid-LLM 与"视觉特征只当条件"的旧范式的本质区别。

3.2 对比学习目标（预训练路线的发动机）

LaViLa、VAST、LanguageBind 的对齐都基于 InfoNCE：

L con = − log ⁡ exp ⁡ ( sim ( v i , t i ) / τ ) ∑ j = 1 N exp ⁡ ( sim ( v i , t j ) / τ ) \mathcal{L}{\text{con}} = -\log \frac{\exp\big(\text{sim}(v_i, t_i)/\tau\big)}{\sum{j=1}^{N} \exp\big(\text{sim}(v_i, t_j)/\tau\big)} Lcon=−log∑j=1Nexp(sim(vi,tj)/τ)exp(sim(vi,ti)/τ)

v i v_i vi、 t i t_i ti 是配对的视频/文本（或音频）表征， τ \tau τ 是温度系数， N N N 是 batch 内负样本数。直觉：让配对样本在表征空间里互相靠近、把 batch 里其他样本当负样本推开------和编码里的率失真优化惊人地同构：分子是"失真"最小化，分母的负样本项逼着表征"压缩"掉与任务无关的信息。

3.3 VAST 的全模态三损失

L VAST = L con + L match + L gen \mathcal{L}{\text{VAST}} = \mathcal{L}{\text{con}} + \mathcal{L}{\text{match}} + \mathcal{L}{\text{gen}} LVAST=Lcon+Lmatch+Lgen

匹配项是二分类（这对样本配不配）：

L match = − $y log σ ( s i j ) + ( 1 - y ) log ( 1 - σ ( s i j ) )$ \mathcal{L}_{\text{match}} = -\big $y\\log\\sigma(s_{ij}) + (1-y)\\log(1-\\sigma(s_{ij}))\\big$ Lmatch=− $ylogσ(sij)+(1-y)log(1-σ(sij))$

s i j s_{ij} sij 是相似度得分， y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1} 是配对标签。对比损失管"排序"，匹配损失管"判别"，生成损失管"重建"，三位一体。

3.4 Q-former：可学习查询的交叉注意力

BLIP-2 系（Video-LLaMA、LLMVA-GEBC、FAVOR 的 Causal Q-Former 都是它的变种）的核心：

Attn ( Q , K , V ) = softmax ⁣ ( Q K ⊤ d k ) V , Q = W q Q learn \text{Attn}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V,\quad Q = W_q\,Q_{\text{learn}} Attn(Q,K,V)=softmax(dk QK⊤)V,Q=WqQlearn

Q learn ∈ R K × d Q_{\text{learn}}\in\mathbb{R}^{K\times d} Qlearn∈RK×d 是 K K K 个可学习的 query 向量 （通常 32 个），它们对视觉特征 V vis V_{\text{vis}} Vvis 做交叉注意力，把成千上万个 patch token 压缩成固定 K K K 个"摘要 token"喂给 LLM。

给编码背景的读者一个类比：Q-former 就是一个学出来的"码率控制器 + 重采样器"------32 个 query 就是 32 个"比特桶"，视觉信息按与文本的相关性分配进桶里，无关细节直接"丢帧"。K 的大小就是这条视觉通路的"码率预算"。代价是压缩不可逆，细节损失不可恢复------这正是后面幻觉问题的伏笔。

3.5 LoRA：插入式 adapter 的数学

W = W 0 + Δ W = W 0 + B A , B ∈ R d × r , A ∈ R r × k , r ≪ min ⁡ ( d , k ) W = W_0 + \Delta W = W_0 + BA,\qquad B\in\mathbb{R}^{d\times r},\ A\in\mathbb{R}^{r\times k},\ r \ll \min(d,k) W=W0+ΔW=W0+BA,B∈Rd×r, A∈Rr×k, r≪min(d,k)

冻结 W 0 W_0 W0，只训低秩分解 B A BA BA。GPT4Video 对冻结 LLaMA 的微调、VideoLLM 的 PEFT 模式都用它。参数量从 d × k d\times k d×k 降到 ( d + k ) × r (d+k)\times r (d+k)×r，8 张 A100 能微调 7B 模型的秘密全在这。

3.6 时序 IoU（定位与 grounding 的裁判）

IoU = ∣ $t 1 , t 2$ ∩ $t \^ 1 , t \^ 2$ ∣ ∣ $t 1 , t 2$ ∪ $t \^ 1 , t \^ 2$ ∣ , mIoU = 1 N ∑ i IoU i \text{IoU} = \frac{\big| $t_1, t_2$ \cap $\\hat{t}_1, \\hat{t}_2$ \big|}{\big| $t_1, t_2$ \cup $\\hat{t}_1, \\hat{t}_2$ \big|},\qquad \text{mIoU} = \frac{1}{N}\sum_i \text{IoU}_i IoU= $t1,t2$ ∪ $t\^1,t\^2$ $t1,t2$ ∩ $t\^1,t\^2$ ,mIoU=N1i∑IoUi

预测区间和真值区间的交并比，IoU=1.0 为完美命中。这就是视频版的"边界框 IoU"，VTimeLLM 整个三阶段训练瞄准的就是这个量。

3.7 序列预测的裁判：Edit Distance

预测动作序列不能只看每步对不对，还要看顺序。Damerau-Levenshtein 编辑距离：

ED ( p , g ) = min ⁡ { 插入数 + 删除数 + 替换数 + 转置数 } \text{ED}(p, g) = \min\big\{\text{插入数} + \text{删除数} + \text{替换数} + \text{转置数}\big\} ED(p,g)=min{插入数+删除数+替换数+转置数}

把预测序列 p p p 改成真值序列 g g g 的最少操作数，越低越好。综述特别点出：逐步独立算准确率会丢掉"顺序"这个视频的灵魂，ED 补的就是这一刀。

3.8 开放式生成的裁判：从 BLEU 到 CIDEr

BLEU ：n-gram 精确率的几何平均 + 短句惩罚， BLEU = BP ⋅ exp ⁡ ( ∑ n w n log ⁡ p n ) \text{BLEU} = \text{BP}\cdot\exp\big(\sum_n w_n \log p_n\big) BLEU=BP⋅exp(∑nwnlogpn)。只认字面重合，同义改写全算错。
CIDEr ：把每条候选/参考描述的 n-gram 做 TF-IDF 加权后算余弦相似度------奖励"说了别人没说的但说对了"的信息量。
WUPS ：基于 WordNet 的语义树相似度， WUPS ( w 1 , w 2 ) \text{WUPS}(w_1,w_2) WUPS(w1,w2) 由两个词的最小公共祖先深度决定，"car" 和 "automobile" 不会被误判为全错。

综述把这些 NLP 指标原样搬进视频领域，但它们对开放式长答案的分辨力都很弱------这会是踩坑点的主角之一。

3.9 MovieChat 的记忆合并（ToMe 思想）

长期记忆的 token 合并按相邻帧 token 的余弦相似度：

sim ( t i , t j ) = t i ⋅ t j ∥ t i ∥ ∥ t j ∥ , t merged = t i + t j 2 （合并最相似对） \text{sim}(t_i, t_j) = \frac{t_i \cdot t_j}{\|t_i\|\,\|t_j\|},\qquad t_{\text{merged}} = \frac{t_i + t_j}{2}\ \text{（合并最相似对）} sim(ti,tj)=∥ti∥∥tj∥ti⋅tj,tmerged=2ti+tj （合并最相似对）

短期记忆满了 → 弹出最早的帧 → 和长期记忆里最相似的 token 合并。本质上就是参考帧管理：短期记忆是滑动窗口 DPB，长期记忆是"长期参考帧"，合并操作是"有损参考帧压缩"------编码读者看到这里应该会心一笑。

四、图示：架构、分类与数据版图

4.1 四阶段演化

复制代码

 手工特征          神经视频模型         自监督预训练         Vid-LLMs
┌──────────┐   ┌──────────────┐   ┌──────────────┐   ┌──────────────┐
│ SIFT/HOG │   │ Two-stream   │   │ VideoBERT    │   │  四大路线：    │
│ IDT/光流  │──►│ C3D/I3D      │──►│ VideoMAE     │──►│ Agents       │
│ HMM/SVM  │   │ SlowFast     │   │ CLIP-ViP     │   │ Pretraining  │
│          │   │ TimeSformer  │   │ MaskFeat     │   │ InstructTune │
│ 任务专用  │   │ 任务专用      │   │ 预训练+微调   │   │ Hybrid       │
└──────────┘   └──────────────┘   └──────────────┘   └──────────────┘
  理解范围：  几帧/固定类别  →  长序列/开放描述  →  开放问答/常识推理

4.2 四大路线的架构对比

复制代码

【Agents】        视频帧 ─► 视觉模型(caption/tag) ─► 文字 ─┐
                  音频   ─► Whisper(转写)          ─► 文字 ─┼─► LLM 推理 ─► 回答
                  （零训练，LLM 当总控，一切皆文字）              ┘

【Pretraining】   视频 ─► 视频编码器 ─┐
                  音频 ─► 音频编码器 ─┼─► 对比/匹配/生成预训练 ─► LLM(编解码一体)
                  文本 ──────────────┘   （从底层自建基座，烧卡大户）

【InstructTune】  视频 ─► 冻结视觉编码器 ─► [adapter] ─► 冻结LLM
                                          ▲只训这里
                    (a)连接式: 线性/MLP/Q-former，插在两者之间
                    (b)插入式: LoRA/Prompt/Prefix，插进LLM内部
                    (c)混合式: 两者都用

【Hybrid】        InstructTune 的底座 + Agent 的视觉反馈循环

4.3 MovieChat 长视频记忆机制（全场最大帧数的秘密）

复制代码

2048 帧长视频
   │ 非重叠滑窗
   ▼
┌─────────────┐  短期记忆满   ┌──────────────────────┐
│ 短期记忆      │ ──────────► │ 弹出最早帧 token       │
│ (滑动窗口)    │             │ 与长期记忆中最相似 token │
└─────────────┘             │ 做余弦相似度合并(ToMe)   │
   │ 当前帧                 └──────────┬───────────┘
   ▼                                   ▼
┌─────────────── 全局模式：只喂长期记忆 ─────────────┐
┌─────────────── 断点模式：长期记忆+当前帧+短期记忆 ──┐
                     │
                     ▼
                    LLM（GPT-3.5 / Claude）

4.4 任务 × 数据集 × 指标矩阵

任务族	代表数据集（规模）	主力指标
识别与预测	Kinetics-400（400类）、ActivityNet、Charades、YouTube8M（百万级）	Top-k 准确率、类别均值 Top-k、mAP、Edit Distance
描述与摘要	MSVD（1,970 视频）、MSR-VTT（1 万 clips/20 万对）、ActivityNet Captions（2 万视频/10 万句）、MAD（65 部电影/38.4 万句）、YouCook2（2000 烹饪视频）、TGIF（10 万 GIF）、VideoXum（1.4 万长视频/14 万摘要对）	BLEU、METEOR、ROUGE-L、CIDEr、SPICE、WMD
定位与检索	Epic-Kitchens-100、Ego4D-MQ/NLQ、DiDeMo、CharadesSTA、Vid-STG	Recall@k、mAP、时序 IoU / mIoU
问答	MSVD-QA、MSRVTT-QA、TGIF-QA、ActivityNet-QA、PororoQA、TVQA	准确率；生成式用 BLEU/CIDEr；语义宽容用 WUPS
指令微调·预训练	InternVid（700 万视频/76 万小时/2.34 亿 clips/41 亿词）、VAST-27M、VidChapters-7M（81.7 万视频/700 万章节）、VALOR-1M、Youku-mPLUG（1000 万对）、HowTo100M（1 亿+）	---
指令微调·微调	MIMIC-IT（280 万对/220 万条指令）、VideoInstruct100K、LLaVA-665K、VideoChat-11k	---

五、踩坑点：五大范式级难题 + 一堆工程暗坑

范式级

1. 细粒度理解：token 预算和计算量的根本矛盾。

细粒度理解意味着逐帧分析，计算量随帧数线性爆炸；而视频的时序维度让"细粒度"比图像难一个量级------不仅要知道"有什么"，还要知道"它怎么变的"。更深的语义（情绪、隐喻、复杂场景动态）更是重灾区。综述的观点值得记下：LLM 让文本能和视频多层次对齐，部分缓解了这个问题------但只是"部分"。类比编码：这就是全帧无损 vs 抽样有损的抉择，目前所有 Vid-LLM 都在抽样端（见踩坑点 8）。

2. 长视频理解：注意力是有限资源。

长视频动辄上万帧，识别关键事件并保持注意力是硬难题。目前的三种解法各带伤：MovieChat 式记忆合并（合并即有损，细节永久丢失）；Chat-UniVi 式动态 token（token 预算仍随视频长度增长）；MM-VID 式切片段再汇总（跨片段的全局一致性靠 LLM 自觉）。

3. 多模态对齐：音画同步是深坑。

视觉、音频、文本的空间/时间同步对齐缺乏研究和数据集，而且这种数据集的标注质量和一致性极难保证。方法侧的难点是跨模态特征的有效提取与融合。FAVOR 的 AVEB 基准算是迈出了第一步，但 5 个音视频联合任务对整个领域的需求来说杯水车薪。

4. 人机交互：文字是高带宽交互的低带宽接口。

用文本引导模型理解视频，搞不定极细粒度的任务；模型输出文本时也精确描述不了复杂内容。人物情绪、态度这类高层信息，现有视觉编码器和 LLM 都表示不好。综述给的出路是引入点、涂鸦（scribbles）等新交互模态------这条路线后来果然火了一大批工作。

5. 幻觉：Vid-LLM 的头号公敌。

综述把视频幻觉的成因拆成四条，这个拆法本身就是好药方：

① 视觉特征提取不足（眼花了）；② 视频上下文内容的影响（脑补了上下文）；③ 视觉特征域和语言域的 gap（翻译腔）；④ LLM 自带的幻觉（老毛病）。

注意前两条是视频特有的------图像幻觉只在单帧空间里发生，视频幻觉还会随时间累积。4-8 帧抽样（见下）直接喂大第①条：模型 90% 的时间是"盲"的，剩下 10% 靠脑补。

6. 智能体路线的错误传播。

MISAR 作者自己承认：上游视频描述模型的错误会沿管线逐级放大。Agent 路线本质是串联系统，总可靠性 = 各环节可靠性的乘积。视觉模型 caption 错了，LLM 会一本正经地把错误信息包装成合理推理------错误 + 好文采 = 高置信度的错误，这比单纯的错误更危险。

工程级

7. "视频理解"的帧数水分。

看 Table 1 会发现刺眼的事实：Otter 吃 4-8 帧、VideoChat 吃 4-32 帧、VAST 吃 4/8 帧、mPLUG-video/Video-LLaMA/Merlin 都是 8 帧。以 30fps 计，8 帧连 0.3 秒都凑不齐，中间 99%+ 的时域信息直接丢弃------这是比 10 倍降采样狠得多的时域混叠 。这些模型在"视频理解"的招牌下，实际做的是"多图理解"。反差最大的是 MovieChat：2048 帧，是 Otter 的 256~512 倍。读论文报指标时，先看喂了几帧，再看榜单。

8. GPT-3.5 当裁判的评估偏差。

Chat-UniVi 等模型用 GPT-3.5 给开放式回答打分。裁判本身是个黑盒 LLM，其偏好（长答案、流畅度、特定措辞）会系统性污染评测------不同模型答案风格不同，得分差异可能是"文风差异"而非"理解差异"。这是 VBench 那篇里"人类对齐验证"要解决的同一类问题，只是这里连 ρ 都没算。

9. 老指标评新任务。

BLEU/CIDEr 这套 NLP 指标评开放式视频问答基本失效：参考答案通常一句话，模型生成一段正确但措辞不同的推理，BLEU 照样打低分。WUPS 稍好但只覆盖词义层面。目前领域里"指标"和"任务开放度"严重错配，横向比较榜单数字时要打个大问号。

10. 算力门槛的两极分化。

Table 1 的 Hardware 列是个小型劝退指南：VAST 用 64 张 V100，Vid2Seq 用 64 块 TPU v4，LaViLa 32 张 V100，Video-ChatGPT/GPT4Video 8 张 A100------这是预训练/大规模微调路线的门票。另一头，VTimeLLM 用单张 RTX-4090 就完成了三阶段训练，Otter 4 张 3090，VideoChat 1 张 A10。差别就在于"训什么"：全参训基座 vs 只训 adapter。做工程选型时，这张表比任何 benchmark 都实用。

11. "支持音频"的水分。

逐个核对正文会发现大量模型的音频能力是残缺的：Video-LLaMA 只支持环境音不支持语音；Socratic Models 只支持语音不支持环境音；LaViLa、Otter、Video-ChatGPT、VALLEY、LLaMA-GEBC、mPLUG-video、VTimeLLM、GPT4Video 等一大片音聋全无。但它们都顶着"视频理解"的名号。视听综合理解在 2023 年底仍是少数派（VAST、FAVOR、Video-LLaMA 的 AL 分支是先行者）。

12. 论文自身的排版小坑（引用前请核对）。

我在精读时发现这版 Preprint 有几处内部不一致，引用前建议回原文核对：

3.3.3 节正文把 GPT4Video 标为引用 $92$ （与 VTimeLLM 撞号），但 Figure 3 和 Table 1 里都是 $93$ ；
Figure 3 中 Video ChatCaptioner 标为 $81$ （与 VideoChat 撞号），正文和 Table 1 都是 $115$ ；
4.5.2 节说 VideoInstruct100K "comprises 10k high-quality video instruction pairs"，而 3.3.1 节明明说的是 100K------数据集名字就叫 100K；
Table 1 中 mPLUG-video 的 LLM 列写作 "GPT/Blood"，应为 GPT/BLOOM 之误；LaViLa 行的 "frozeen" 应为 frozen；VideoChat 行的 "Q-fomer" 应为 Q-former；
Table 1 的 Sound/Speech 列符号与正文描述存在出入（如 Socratic Models 正文明确说"支持语音、不支持环境音"，表中符号却相反），至少说明该列校对不严；
Table 1（28 个模型）与 Figure 3 分类树（27 个）方法集不一致：MM-VID、MISAR 只在图 3，FAVOR、LanguageBind、Auto-AD II 只在 Table 1，Video-LLaMA 也漏画进了分类树；
MSR-VTT 的引用号在全文漂移：第 3.1 节 Socratic Models 处标 $120$ ，第 4.2.1 节却标 $121$ ------而 $121$ 按数据集列表明明是 MSVD（Microsoft Research Video Description Corpus）。一条数据集两个引用号，其中一个还挂错了人家；
4.2.1 节 MSR-VTT 的条目名写作 "Microsoft Research Video-to-Text"，与通用文献名（Microsoft Research Video-to-Text Description Corpus）细节有出入，且正文说它"10,000 clips、20 类、200K 对"------这些数字本身没错，但同页 MSVD 说"多语言字幕"，实际 MSVD 是英文字幕集，翻译转述有失真。

这些不影响综述的学术价值，但正是"引用数据前先回原文核对"这句话的最好注脚。

13. 数据集的"再生"链条藏着偏差传递。

细看第 4 章会发现一个隐蔽的链路：很多 QA 数据集是从 caption 数据集"再生"出来的------MSVD-QA、MSRVTT-QA、ActivityNet-QA 都是在原 caption 数据集上追加 QA 对生成的，而生成 QA 对的过程又常常借助 BLIP-2/GPT-3.5 这类模型。于是出现一个闭环：用模型 A 生成的标注训练模型 B，再用模型 C 评估模型 B------三者的偏见会在同一条数据分布上共振。PororoQA（儿童动画）和 TVQA（剧集+字幕）这类原生 QA 数据集反而更珍贵，因为它们的标注离模型至少隔一层。读到"在某 QA 数据集上涨了 5 个点"时，先问一句：这数据集的 QA 对是谁写的？

六、源码拆解：综述没有源码？那就重构它的三条主干

综述本身不开源代码（配套的是论文仓库 Awesome-LLMs-for-Video-Understanding），但它是 28 个系统级方案的"设计模式合集"。下面按综述描述重构三条主干的伪代码（非官方实现，出处已标注）：

6.1 主干一：指令微调路线的通用三阶段管线（对应 VTimeLLM/VALLEY/Video-ChatGPT 的共性）

python 复制代码

# 伪代码：对应综述 3.3 节 Instruction Tuning 的通用流程
# Stage 1: 模态对齐（图文对，让 adapter 学会"翻译"）
for img, text in align_data:            # LCS-558K / CC3M / WebVid2M / LLaVA-595K
    vis_tok = visual_encoder(img)       # CLIP ViT-L/14, 冻结
    feat    = connector(vis_tok)        # 线性层/MLP/Q-former, 可训练
    loss = ce_loss(llm(text | feat), text)   # 只回传 adapter 梯度

# Stage 2: 能力课程（如 VTimeLLM 的边界感知）
for vid, events in boundary_data:       # InternVid-10M-FLT, 多事件视频
    qas = template_to_qa(events)        # 多事件数据 → 模板化 QA
    train(llm, q=frames(vid), a=qas)    # 教会模型"事件有边界"的概念

# Stage 3: 指令微调（对齐人类意图）
for vid, inst in instruct_data:         # VideoInstruct100K / ActivityNet+DiDeMo
    train(llm, q=(frames(vid), inst.q), a=inst.a)

6.2 主干二：Agent 路线的总控循环（对应 Socratic/VLog/MM-VID 的共性）

python 复制代码

# 伪代码：对应综述 3.1 节 LLM-based Video Agents
def video_agent(video, query):
    transcript = whisper(video.audio)              # 语音 → 文字
    scenes = scene_detect(video)                   # 场景切分（MM-VID 流程）
    memory = []
    for clip in scenes:
        desc = blip2_caption(sample(clip))         # 整帧描述
        regions = grit(sample(clip))               # 区域描述
        memory.append(summarize_llm(desc, regions))
    script = gpt4(f"汇总为连贯剧本: {memory} + {transcript}")
    while True:                                    # 交互循环：LLM 决定还要看什么
        need = gpt4(f"回答'{query}'还缺什么信息? {script}")
        if need is None: return gpt4(f"基于 {script} 回答 {query}")
        clip = select(memory, need)                # 挑相关片段
        script += tool_answer(clip, need)          # 调用视觉工具补证据

6.3 主干三：MovieChat 的记忆管理（对应综述 3.3.1 MovieChat 描述）

python 复制代码

# 伪代码：对应综述 3.3.1 MovieChat 的长短期记忆机制
def moviechat_inference(frames, query, mode):
    short_mem, long_mem = [], []
    for f in sliding_window(frames):               # 非重叠滑窗
        tokens = eva_clip(f)                       # ViT-G/14 提特征
        short_mem.append(tokens)
        if len(short_mem) > L:                     # 短期记忆满
            evicted = short_mem.pop(0)             # 弹出最早的帧
            for t in evicted:
                j = argmax_j cos_sim(t, long_mem[j])   # 找最相似的老 token
                long_mem[j] = merge(t, long_mem[j])    # ToMe 式合并(信息有损!)
    ctx = long_mem if mode == "global" else long_mem + short_mem + [current]
    return llm(query, context=ctx)                 # GPT-3.5 / Claude

6.4 指令数据集的半自动构建（对应综述 3.3.1 Video-ChatGPT 数据工程）

python 复制代码

# 伪代码：Video-ChatGPT 的 100K 指令对流水线（综述 3.3.1 + 4.5.2）
for vid in activitynet:
    frame_caps  = blip2(sample(vid))               # 帧级描述
    object_desc = grit(sample(vid))                # 场景物体详述
    tags        = tag2text(sample(vid))            # 关键帧标签
    for task in ["详细描述","摘要","创作生成","对话"]:
        qa = gpt35_generate(task, frame_caps, object_desc, tags)  # 造 QA 对
    human_review(qa)                               # 人工辅助质检

6.5 关键配置速查表（从 Table 1 精选）

模型	帧数	视觉编码器	Adapter	算力	LLM
Socratic Models (22.05)	变长	CLIP ViT-L/14@336	相似度匹配	1×V100	RoBERTa/GPT-3
Vid2Seq (23.02)	100	CLIP ViT-L/14@224	Transformer 编码器	64×TPU v4	T5 (0.2B)
VLog / ChatVideo (23.04)	---	CLIP ViT-G	---	---	ChatGPT (20B)
VideoChat (23.05)	4--32	ViT-G	MLP+Q-former	1×A10	StableVicuna 7B
VAST (23.05)	4/8	EVA-CLIP ViT-G + BEATs	---	64×V100	Vicuna 13B
Otter (23.05)	4--8	CLIP ViT-L/14	---	4×3090	LLaMA 7B
Video-ChatGPT (23.06)	100	CLIP ViT-L/14	线性层	8×A100 40G	Vicuna 7B
LLMVA-GEBC (23.06)	96	CLIP ViT-G	Video Q-former	2×A6000	OPT 13B
VALLEY (23.06)	变长	CLIP ViT-L/14	投影层	8×A100 80G	StableVicuna 7B/13B
MovieChat (23.07)	2048	EVA-CLIP ViT-G/14	Q-former+长短期记忆	---	GPT-3.5/Claude
FAVOR (23.10)	变长	InstructBLIP ViT-G	Causal Q-Former	---	Vicuna 7B/13B
LLaMA-VQA (23.10)	---	CLIP ViT-L/14	线性层	8×A6000	LLaMA 7B
Video-LLaVA (23.11)	8--32	LanguageBind	MLP 投影层	---	Vicuna 7B
VTimeLLM (23.11)	100	CLIP ViT-L/14	线性层	1×RTX-4090	Vicuna 7B/13B
Chat-UniVi (23.11)	64	ViT-L/14 + ViT-G	时空合并	---	Vicuna 7B
GPT4Video (23.11)	变长	CLIP ViT-L/14	交叉注意力	8×A100 40G	LLaMA 7B (LoRA)
Merlin (23.12)	8	CLIP ViT-L/14	2D卷积+1D线性	---	Vicuna v1.5 7B

七、效果对比：综述自己的"量化数据"其实是这张配置表

先说结论：这篇综述没有统一的精度榜单------28 个模型各自在不同数据集上报告过数字，但综述没有汇总成一张 accuracy 表。这本身是个值得记录的观察（详见踩坑点），所以"效果对比"要看两层：配置对比（综述真实提供的数据）和数据规模对比（各方法的数据工程军备竞赛）。

7.1 28 个模型的配置横切面（数据来自 Table 1）

把 Table 1 按维度统计，能看到几个非常整齐的"行业共识"：

帧数分布（吃什么、吃多少）：

帧数量级	模型	占比
≤ 8 帧	Otter(4--8)、VideoChat(4--32)、VAST(4/8)、Video-LLaMA(8)、mPLUG-video(8)、Merlin(8)、LanguageBind(8)	7/28
32--100 帧	Vid2Seq(100)、Video ChatCaptioner(100)、Video-ChatGPT(100)、LLMVA-GEBC(96)、VTimeLLM(100)、Chat-UniVi(64)、Video-LLaVA(8--32)	7/28
数千帧	MovieChat（2048）	1/28
变长/未披露	其余 13 个	~46%

LLM 选型 ：Vicuna 系（含 StableVicuna、v1.5）10 次，LLaMA 系 5 次，GPT-3.5/4/ChatGPT 系 6 次，T5/OPT/GPT-2/BLOOM 等其他 7 次------7B 的 Vicuna 就是 2023 年 Vid-LLM 的"默认引擎"。

视觉编码器：CLIP ViT 家族 16 次（L/14 是绝对主力），时序编码器（TimeSformer、LanguageBind、EVA-CLIP）各 1--2 次。帧级 CLIP 一统天下，侧面印证了时序建模仍是短板。

算力：见踩坑点 10，从 1×A10 到 64×V100 差 3 个数量级。

7.2 数据军备竞赛（预训练/微调数据的量级）

数据集	规模	用途
HowTo100M	1 亿+ 教学视频	大规模预训练（MIL-NCE 修正解说-画面错位）
YT-Temporal-1B	十亿级无标注长视频	Vid2Seq 预训练（语音转写生成伪标注）
InternVid	700 万视频 / 76 万小时 / 2.34 亿 clips / 41 亿词描述	LLM 自动构建视频-文本对
VAST-27M	2700 万 clips 全模态描述	VAST 预训练（视觉+音频 captioner 自动生成）
VidChapters-7M	81.7 万视频 / 700 万章节	用户标注章节，零人工成本
Youku-mPLUG	1000 万视频-文本对（中文最大）	中文预训练 + 30 万视频基准
VALOR-1M	100 万有声视频人工标注视听描述	三模态预训练
MIMIC-IT	280 万指令对 / 220 万条指令	Otter 的 in-context 指令微调
VideoInstruct100K	10 万视频指令对（ActivityNet 半自动构建）	Video-ChatGPT 微调
MAD	65 部电影 / 38.4 万句 / 6.14 万词	音频描述任务

这里最有信息量的对比是标注来源 ：HowTo100M/MAD 是人工的（贵、精），YT-Temporal-1B/VidChapters-7M/InternVid 是"白嫖"的------用语音转写、用户章节、LLM 生成当免费标注。数据获取方式的选择，比数据量本身更决定路线的可持续性。

7.3 各路线的"能力-代价"对比（定性综合）

路线	训练成本	推理延迟	视觉上限	任务泛化	代表
Agents	零	高（多轮调用）	被视觉模型封顶	强（LLM 常识兜底）	Socratic、MM-VID
Pretraining	极高（64 卡级）	中	高	强	VAST、LaViLa、Vid2Seq
InstructTune（连接式）	低--中（1--8 卡）	低	中（受帧数限制）	中	Video-LLaMA、MovieChat
InstructTune（插入式）	低--中	低	中	更强（综述明确判断）	Otter、VideoLLM
Hybrid	中	中	中高	强	VideoChat

最反直觉的一条：LLMVA-GEBC（OPT 13B + 多特征提取器）拿下了 CVPR 2023 GEBC 竞赛冠军，而它没进分类树的显眼位置 ；LLaMA-VQA 靠"翻转三元组"这种几乎零成本的设计 counter 了语言偏见------说明这个阶段瓶颈不在模型规模，而在任务设计和数据偏见。

八、总结：这张全家福告诉我们什么

复盘这篇综述，核心贡献有三个：

给混乱的赛道立了坐标系。四大类 + 三小类 adapter 的分类法，让 2022--2023 那波 Vid-LLM 论文洪水有了检索结构。你拿到一篇新论文，先问三个问题：LLM 在当总控还是当解码器？adapter 插在哪？喂了几帧？------基本就能定位它在图上的位置。
任务-数据-指标的三线梳理。四大任务族 × 各自数据集和指标的全景表，加上预训练/微调数据集的专门一节，是这领域入门最省力的路径图。
诚实的体检报告。细粒度、长视频、多模态对齐、人机交互、幻觉五大难题，每条都给出了成因拆解（尤其是幻觉四因），后来的很多工作（视频幻觉评测、长视频记忆机制）都能在这份报告里找到立项依据。

边界也要说清楚：这是一篇 2023 年 12 月的快照式综述，Sora 还没发布，GPT-4o、Gemini、Qwen-VL 系都还没登场，长视频建模、原生多模态、流式理解这些后来的主战场它只能点到为止。文中若干引用编号和表格排版的小错（踩坑点 12 已盘点）提醒我们：Preprint 版本引用需谨慎。另外它没有做统一的精度复现和横向评测------"综述不做 benchmark"是惯例，但对读者来说，配置表再全也替代不了同一把尺子下的数字对比。

给从视频编码来的读者收个尾。我读完最大的感受是：Vid-LLM 的核心矛盾，和编码器设计是同一个------在有限预算下保留多少信息。 4 帧还是 2048 帧，32 个 Q-former query 还是线性投影全量喂入，短期记忆弹出合并还是全量保留------每一处都是在做"信息率失真"决策，只不过失真的度量从 PSNR 变成了下游任务精度。MovieChat 的长短期记忆就是 DPB + 长期参考帧管理，Q-former 就是可学习的码率控制器，VTimeLLM 的时间 token 就是把时间戳编进码流。这些模型工程师在重新发明我们发明过的轮子，而我们的轮子上还没有大脑。 反过来，Vid-LLM 带来的"开放语义 + 常识推理"恰好是传统编码永不触碰的层面。两边迟早会合流------比如用语义理解指导码率分配、用生成模型补全被丢弃的时域信息。到那天，"编码"和"理解"就不再是两个词了。

要入这个领域的同学，路径很简单：先把这篇综述的四大分类记住，再去 GitHub 仓库（Awesome-LLMs-for-Video-Understanding）顺着时间线把代表模型的论文各扫一遍摘要，最后挑一条路线（我建议指令微调路线，性价比最高）精读三篇------Video-ChatGPT 学数据工程、VTimeLLM 学训练课程设计、MovieChat 学长视频机制。读完这三篇，你就比大多数只会跑 demo 的人更懂 Vid-LLM 了。