多模态视频理解工程：抽帧策略、帧预算与 Prompt 组装

多模态视频理解工程：抽帧策略、帧预算与 Prompt 组装

大语言模型天生"不认识"视频。所谓多模态视频理解，本质是把一段 30 帧/秒的连续信号，压缩成几十张静态图 + 若干段文本，塞进模型的上下文窗口------压缩策略的好坏，直接决定 AI"看懂"了多少。本文拆解视频理解管线的三个核心：抽帧（Frame Sampling）、帧预算（Token Budget）、以及把帧与文本组织成有效 Prompt 的上下文工程。

一、抽帧：均匀采样是最差的好方案

均匀采样（Uniform Sampling）

每 N 秒取一帧，最简单：

function uniformSample(duration: number, fps: number, targetFrames: number): number[] {
  const step = duration / targetFrames
  return Array.from({ length: targetFrames }, (_, i) => (i + 0.5) * step)
}

问题一目了然：10 分钟的 Vlog 按 1 帧/5 秒采 120 帧，其中 100 帧是"同一个人在同一个位置说话"------信息冗余极高，真正的内容转折（切镜头、场景变化、PPT 翻页）可能恰好被跳过。

场景感知采样（Scene-aware Sampling）

先用廉价的镜头边界检测（下一篇博客的主题）把视频切成 shot，再每个 shot 至少采 1 帧：

function sceneAwareSample(shots: Shot[], budget: number): FrameRef[] {
  const frames: FrameRef[] = []
  // 第一轮：每个 shot 保底 1 帧（取 shot 中点，避开转场帧）
  for (const shot of shots) {
    frames.push({ timestamp: (shot.start + shot.end) / 2, shotId: shot.id, priority: 1 })
  }
  if (frames.length >= budget) {
    // shot 数超预算：按时长加权选取（长 shot 内容更多）
    return weightedPick(frames, budget)
  }
  // 第二轮：剩余预算分给长 shot（>8s 的 shot 内部再补帧）
  const remaining = budget - frames.length
  const longShots = shots.filter(s => s.end - s.start > 8)
  // 长镜头内部二次均匀采样......
  return [...frames, ...innerSample(longShots, remaining)]
}

两层采样保证：短快切镜头不丢 （每个都有代表帧）、长镜头不偏废（内部补充采样）。实测同等预算下，场景感知采样对"内容覆盖度"的提升远超均匀采样------因为它把预算花在了信息熵高的地方。

转场帧规避

无论哪种策略，都要避开切变点附近 ±0.2s 的帧------那是两帧内容的"混叠"（运动模糊、半帧残影），对视觉模型是噪声。shot 中点、或 shot 起点后 1/3 处是安全位置。

二、帧预算：Token 经济学

多模态模型按图像分辨率折算 token（一张 1MP 图约 500~1500 token）。预算计算：

function planFrameBudget(ctx: BudgetContext): FramePlan {
  const { videoDuration, modelTokenLimit, reservedTextTokens, targetCost } = ctx

  // 可用于图像的 token 池
  const imageBudget = modelTokenLimit - reservedTextTokens   // prompt + 输出预留
  const perFrameTokens = estimateFrameTokens(512, 288)       // 下采样到 512x288 ≈ 400 token
  const maxAffordableFrames = Math.floor(imageBudget / perFrameTokens)

  // 质量优先 vs 成本优先
  const qualityFrames = Math.min(maxAffordableFrames, Math.floor(videoDuration / 2))  // 2s/帧
  const cheapFrames = Math.min(maxAffordableFrames, Math.floor(videoDuration / 10))   // 10s/帧

  return { count: targetCost === 'quality' ? qualityFrames : cheapFrames, size: [512, 288] }
}

关键工程决策：

1. 分辨率是第一杠杆：帧数翻倍 token 翻倍，但分辨率减半 token 降 4 倍（面积平方关系）。视频理解任务的语义信息大多在"构图与物体"，512×288 已足够；只有 OCR 密集内容（PPT 文字、字幕）需要更高分辨率------那类内容建议单独用 OCR 管线而非指望 VLM。
2. 文字预留要算清 ：reservedTextTokens 包含 system prompt、素材清单、few-shot 示例、输出 schema 与预期输出长度。新手常犯的错是把输出长度算漏，导致模型开始回答后被 max_tokens 截断------JSON 断在半截。
3. 成本与质量的分段策略：短视频（<2 分钟）全量高质量采样；长视频先低密度采样做"目录级"理解，再对高价值片段二次高密度采样（两阶段漏斗）。

三、Prompt 组装：帧不是图片，是"有时间戳的证据"

把帧喂给模型时，最大的错误是"一排图片丢进去然后问视频讲了啥"。帧必须携带时间上下文，让模型建立视觉信号与时间轴的映射：

以下是视频《示例标题》的分析素材。视频总时长 634 秒。

[帧 1] t=3.2s  （shot-01, 0.0s~5.8s, 时长5.8s）
[帧 2] t=9.1s  （shot-02, 5.8s~11.0s, 时长5.2s）
...

已知的音频转写（按时间排序）：
[0.0~5.8] 大家好，今天我们聊三层防御
[5.8~11.0] 第一层是协议层......

任务：结合画面与转写，将内容切分为 5~9 个语义段落，
输出符合 schema 的 JSON。注意：画面中出现 PPT 翻页或场景切换的时间点，
大概率是段落边界。

三个增强技巧：

1. Shot 边界作为先验注入：显式告诉模型"t=5.8s 有镜头切换"，模型会把镜头切换当作段落边界的强信号------免费送了个剪辑先验。
2. 转写与帧交错对齐：转写文本按时间排序，帧按时间排序，模型在注意力层自然建立跨模态对齐。避免把转写堆在最后------长上下文中"图文分离"会削弱对齐。
3. 输出锚定时间戳 ：要求 JSON 里的 startSeconds 必须落在给出的帧时间戳附近（±1s），让输出可回溯验证------后处理时能校验"模型说 t=42.3s 有转场，帧列表里 t=41.9s 确实有 shot 边界"，提升结果可信度。

四、两阶段漏斗：长视频的可扩展架构

10 分钟以上视频一次塞不下，即使塞得下注意力也会稀释。工业方案是两阶段：

阶段 1（粗筛）：低密度采样（1帧/15s）+ 摘要级任务
  → 输出：内容目录（每 30~60s 一个主题块 + 价值评分）
阶段 2（精读）：对 Top-K 主题块高密度采样（1帧/2s）+ 结构化任务
  → 输出：语义分段、关键词、推荐依据

阶段 1 的输出可以缓存（同素材不变），阶段 2 只对用户选中的方向精读------把"全量理解"变成"按需理解"，成本降一个数量级。这个架构与 RAG 的"召回-精排"同构：粗筛是召回，精读是精排。

五、失败模式与防御

视频理解特有的失败模式：

失败模式	表现	防御
幻觉描述	描述帧里不存在的物体	要求引用帧编号（"依据帧 7"），后处理抽验
时间漂移	段落起点与实际画面错位 2~5s	输出锚定帧时间戳 + shot 边界校验
中段遗忘	长视频后半段分析明显变浅	两阶段漏斗 / 分窗处理
OCR 依赖	把画面文字当全部内容	文字信息走独立 OCR 通道，VLM 只管视觉语义
音画割裂	只看转写不看画面（或反之）	prompt 显式要求"结合画面与转写"并给出对齐示例

其中"幻觉描述"的抽验防御值得一提：后处理随机抽 10% 的帧引用，用视觉模型二次确认"帧 7 里是否确实出现了键盘"------不一致率超阈值则整批结果降级为"低置信度"，UI 上提示用户复核。AI 管线的可信度不是靠模型多强，靠的是可验证性设计。

六、小结

环节	核心决策
抽帧	场景感知 > 均匀；每 shot 保底 1 帧；避开转场帧
预算	分辨率平方杠杆；文字预留含输出长度；长视频两阶段漏斗
Prompt	帧带时间戳与 shot 元数据；转写交错对齐；输出锚定可验证
架构	粗筛（召回）→ 精读（精排）；阶段 1 可缓存
防御	帧引用抽验、时间锚定校验、置信度分级

多模态视频理解的工程本质是信号压缩：在 token 预算内最大化"每 token 信息熵"。模型能力决定上限，但同样的模型，抽帧策略与 Prompt 组织的差异能让效果差出一代------这是应用端真正能掌控的变量。