最近做 "让 AI 看视频" 的项目比较多，有的号称支持视频，实际就是抽帧当图片；有的文档含糊，传了视频模型根本不解析音频。这篇把实测可用的方案和坑整理一下，帮你少走弯路。
先分清：离线分析，还是实时交互？
选型第一道分水岭，这两件事技术栈完全不同。
离线分析（会议纪要、教学提取、合规审核）：你有一个视频文件，要一段文字输出。Gemini、Qwen 的多模态模型就够。
实时交互（视频客服、远程协助、互动教学）：模型要边看画面边听声音、对话里即时回应。能打的很少，字节的 SeedRealtime 是少数已落地的，已上线豆包 App。
Gemini：能力上限最高，调用有坑
Gemini 3.1 Pro 原生支持 text/image/video/audio 输入，1M 上下文，是目前视频理解的天花板。但调用不是传个 base64 就完事：
长视频要先走 Files API 上传，轮询到状态变成 ACTIVE 后才能用文件引用发起请求；
超过 5 分钟建议开 background=True，否则大概率超时；
注意当前还是 Preview 状态，接口可能变动。
Qwen：视频理解 + 工具调用组合拳
Qwen3.7-Plus 是通用视频理解旗舰，1M 上下文，支持两小时视频、function calling 和内建工具，做 "看视频→判断→执行" 的 agent 流程很顺。QVQ-Max 是专门的视觉推理模型，官方示例能根据当前画面 "预测接下来可能发生什么"，适合工业质检、操作规范这类需要时序判断的场景。
Qwen 的调用比较友好，直接传 video 字段即可：
{
"model": "qwen3.8-max",
"videos": "/path/to/clip.mp4",
"text": "按时间顺序总结这个视频的场景变化"
}
注意文档里那句 "Local sampled frames are sent as ordered images"：本地视频会被采样成有序图像序列发送。只要个大概摘要没问题；要秒级精确的动作分析，采样率就是必须盯的参数。
SeedRealtime：实时对话选这个
用户开着摄像头和你对话，"上传 - 等待 - 返回" 的模式就不适用了。SeedRealtime 是原生音视频全双工，边看边听边说，不用等对方说完再处理。官方细节：多人场景能同时认人辨声、分清谁在说话；嘈杂环境能屏蔽无关对话、判断何时该接话。已全量上线豆包 App 的 "打电话" 视频通话，至少过了消费级验证。限制是暂无公开独立 API，不在字节生态内接入要走商务合作，选型前要确认。
别忽略音频
很多场景声音才是关键信息 ------ 产品演示的旁白参数，比画面上显示的多得多。Gemini 原生支持音频输入；Qwen 的 omni 系列配合 ASR 能出带时间戳的字幕；SeedRealtime 则在架构层就把音视频联合建模。语音占比高的场景，选型前一定确认模型真解析了音轨，而不是只抽帧看画面。
最后提醒
"支持视频输入" 这句话的含金量差别巨大：有的真在建模时序和音频，有的只是把视频当 GIF 拆开。别只看宣传页三个字，去翻官方文档的输入限制和处理方式，能省掉很多后期返工。另外做视频生成 / 二创的另说 ------Gemini Omni Flash、MiniMax H3 属生成能力，不是理解能力，别混为一谈。