SportMV-Agent：面向多机位体育视频的智能体多视角推理框架 & SportMV-Bench评测基准

SportMV-Agent：面向多机位体育视频的智能体多视角推理框架 & SportMV-Bench评测基准

论文网页原文：https://arxiv.org/html/2607.11844v1

摘要

现有多模态大模型（MLLM）在单镜头视频问答基准上已取得不错效果，但真实体育赛事存在大量遮挡、高速运动、多人交互场景，仅单一机位画面极易丢失关键判罚证据。现实VAR视频助理裁判系统依赖多机位同步回放，但目前尚无评测多视角联合推理的标准化数据集。

本文构建SportMV-Bench 多机位体育视频评测基准，素材全部来自官方赛事回放，通过大模型生成题目、多模态模型校验、人工三轮过滤构建数据集，包含787组多机位视频包、2592道问答样本，分为三大推理层级：感知识别（PAR）、规则事件解读（REI）、裁判判罚推理（ADR）。

大规模对照实验表明，现有通用MLLM无法有效融合多机位互补信息，核心瓶颈并非逻辑推理或体育领域知识，而是细粒度视觉感知与自主机位筛选能力。基于该结论，本文提出SportMV-Agent智能体推理框架，由调度器循环执行机位主动选择、专用视觉感知工具调用、证据聚合推理流程。相比最强基线GPT-4.1，整体准确率相对提升14.46%。

三大核心贡献

1. 发布首个多机位体育视频理解基准SportMV-Bench，覆盖三层推理任务，提供标准化多视角融合评测方案；
2. 系统性基线实验定位现有MLLM两大核心短板：自主机位选择缺失、细粒度视觉感知能力不足；
3. 设计SportMV-Agent智能体迭代推理架构，内置机位切换与专项视觉工具，大幅提升多机位赛事判罚准确率。
   

1 引言

1.1 研究背景

体育视频分析广泛应用于战术复盘、教练指导、赛事裁判、内容检索、直播互动等场景。多模态大模型在单镜头视频问答任务表现优异，但真实赛事画面存在严重遮挡、高速肢体接触、球员重叠等问题，单一视角往往缺失判罚关键细节。

现实VAR系统同步提供多个异步机位回放，不同镜头提供互补证据：某机位被球员遮挡无法看清肢体接触，另一特写镜头可还原犯规细节；部分场景需要融合多个机位信息才能完成合规判罚（如禁区接触+无控球双重证据判定黄牌任意球）。

现有体育数据集（SoccerNet、Sports-QA等均仅提供单镜头输入，无法评测模型跨视角证据融合能力，缺少贴合真实裁判流程的多机位评测环境。

1.2 现有模型核心缺陷

1. 全部机位直接拼接输入仅比随机单镜头提升2.1个百分点，冗余遮挡画面引入噪声抵消互补信息增益；
2. 若给定最优机位，性能可相对提升10.6%，说明模型无法自主筛选有效视角；
3. 提供真实细粒度感知标注后准确率提升16.47%，证明视觉感知是首要瓶颈；
4. 思维链CoT、补充体育规则知识无法带来明显增益，逻辑推理、领域知识并非核心短板。

1.3 本文方案概述

1. 构建SportMV-Bench多机位体育问答基准，三层任务匹配裁判完整思考链路；
2. 开展系统性消融实验，定位多视角理解两大瓶颈；
3. 提出SportMV-Agent迭代智能体框架，循环完成机位筛选、感知工具提取、证据聚合直至置信度充足，大幅提升多机位判题精度。

2 相关工作

2.1 体育视频评测数据集

早期数据集聚焦单一动作分类（足球、篮球、花滑）；伴随MLLM发展出现Sports-QA、SoccerBench等视频问答基准，但全部仅支持单镜头输入，无法模拟多机位VAR回放场景。现有数据集缺少跨视角证据融合评测能力。

2.2 体育视频理解方法

传统方案基于手工特征做动作分类、犯规识别；近年通用多模态大模型被直接用于体育问答，但统一将全部画面一次性送入上下文，缺少主动筛选关键镜头、分步提取视觉证据的机制，面对遮挡场景极易产生视觉幻觉。

3 SportMV-Bench 多机位评测基准

3.1 任务定义

给定同一赛事事件N条异步多机位视频V={V1,V2,...,VN}\mathcal{V}=\{V_1,V_2,...,V_N\}V={V1,V2,...,VN}与自然语言问题qqq，模型需要融合多视角证据选出唯一正确多选题答案a∗a^*a∗。

3.2 数据集构建四阶段流水线

1. 原始素材采集
   采集NBA官方回放、SoccerNet足球多机位素材，使用PySceneDetect切分镜头，每组事件绑定官方裁判报告（权威事件标注、犯规类型、接触部位），多机位视频时间轴不完全同步，提升推理难度。
2. LLM生成问答样本
   以裁判报告为唯一事实依据生成多选题，选项为细微差异同类变体，禁止外部知识幻觉，输出固定JSON格式，每条题目关联对应多机位片段。
3. 多模态模型自动化校验
   使用GPT-5审核每条样本，四条校验标准：答案与报告一致、无法仅常识作答、图文匹配、存在可观测视觉证据；随机打乱机位顺序重复校验3次，不达标直接过滤。
4. 人工专家精筛
   体育裁判领域专家剔除歧义、无视觉线索、表述模糊题目，统一优化选项措辞，保证标准答案唯一可区分。

3.3 数据集任务分层（共2592道样本）

任务类型	占比	评测目标
PAR 感知识别	34.61%	底层视觉识别：遮挡下铲球、推人、肢体接触等细粒度动作识别
REI 规则事件解读	38.23%	中层推理：定位事件时空位置，结合赛事规则解读事件含义
ADR 裁判判罚推理	27.16%	高层综合推理：融合多机位证据判定黄牌/红牌/点球/任意球

1. PAR：仅依靠视觉识别，难点为遮挡、运动模糊下动作区分；
2. REI：需要定位事件并绑定对应赛事规则；
3. ADR：完整模拟裁判判罚流程，融合多视角细节输出合规处罚结果，任务难度最高。

4 基准诊断实验：现有MLLM性能瓶颈分析

4.1 四类机位输入对照实验

1. 随机单镜头：仅随机送入一个机位；
2. 最优单镜头：送入经专家标注信息量最高机位；
3. 全部机位拼接：一次性输入所有画面；
4. 引导多机位：提示模型优先使用最优镜头，其余作为辅助。

核心结论

全部机位拼接仅小幅优于随机单镜头，冗余遮挡画面引入大量噪声；主动筛选关键视角可显著提升性能，现有MLLM无自主机位选择机制是核心短板之一。

4.2 三类优化策略消融

1. CoT思维链：复杂多视角场景下反而放大视觉幻觉，准确率下降；
2. 补充体育规则知识：增益极低，领域知识不是主要瓶颈；
3. 提供真实细粒度感知标注：准确率大幅上涨，证明细粒度视觉识别是最大短板。

4.3 基线模型整体性能

主流开源/闭源MLLM在本基准整体准确率普遍偏低，最强基线GPT-4.1整体仅59.68%，ADR高层判罚任务不足47%，现有模型无法处理多机位遮挡融合推理。

5 SportMV-Agent 智能体多视角推理框架

5.1 整体迭代流程

智能体由调度器Orchestrator统一控制，循环执行三步操作直至证据充足输出答案：

1. 机位主动选择：识别遮挡/模糊镜头，切换信息量更高的机位；
2. 感知工具调用：执行动作识别、接触检测、接触部位识别专项视觉工具；
3. 证据聚合：汇总多轮视觉观测，判断是否具备充足判罚依据。

完整伪代码

输入：问题q、多机位视频集合V、感知工具集T、调度器模型π
初始化：激活机位集合V_act = V，证据缓存E = []，迭代步数t=1
while t ≤ 最大迭代轮数:
    1. 构造当前状态：问题、可用机位、历史证据
    2. 调度器输出推理思路 + 下一步操作（切换机位/调用工具/输出答案）
    3. 若置信度充足，直接输出预测答案，终止循环
    4. 若操作为机位切换：更新激活机位集合
    5. 若操作为工具执行：选定机位与感知工具，运行视觉推理获取细粒度证据
    6. 将本轮观测存入全局证据缓存，t += 1
输出最终判罚答案

5.2 三大专用视觉感知工具

1. 动作识别T_act：输出动作类型+置信度排序（滑铲/冲撞/投篮等）；
2. 接触检测T_con：二元判断两名球员是否发生肢体接触；
3. 接触部位识别T_par：检测接触发生的人体躯干/四肢区域，仅接触触发后调用。

5.3 调度器功能

以GPT-4.1作为调度大模型，维护完整推理状态（历史证据、当前可用机位、任务问题），每轮自主决策：

• 机位切换：当前画面遮挡严重时切换特写/远景机位；
• 工具调用：需要细粒度肢体、接触信息时触发视觉工具；
• 终止输出：证据完整、可稳定判定处罚时输出最终答案。
  

6 完整实验结果

6.1 主流模型整体对比

模型	PAR	REI	ADR	整体准确率
LLaVa-Next	47.52	59.25	31.07	48.19
Qwen2.5-VL-72B	46.43	55.43	35.63	47.28
Qwen3-VL-30B	44.11	55.05	29.25	44.89
InternVL2.5	45.78	58.21	34.31	47.81
GLM-4.5V	49.95	60.02	32.88	49.79
DeepSeek-VL	34.91	37.16	27.77	34.06
GPT-4o	54.41	61.59	40.95	53.67
GPT-4.1（基线）	58.44	68.76	46.82	59.68
SportMV-Agent	67.81	73.16	58.22	68.31
SportMV-Agent相对GPT-4.1基线提升14.46%，三类任务全部显著上涨，高层ADR判罚任务涨幅最大。

6.2 消融实验

1. 替换调度器为GPT-4o：整体下降8.6%，强推理调度模型是核心；
2. 关闭主动机位切换：整体下降7.28%，验证机位筛选模块必要性；
3. 感知工具替换为GPT-4.1原生视觉：仅小幅提升，专用视觉工具性价比更高；
4. 工具仅取Top1结果相比Top3：下降2.27%，多候选可自我纠错、降低视觉噪声。

6.3 定性案例对比

标准CoT直接一次性读取全部机位，易被遮挡画面误导产生幻觉；SportMV-Agent主动切换特写机位，调用接触识别工具提取关键肢体细节，融合多视角证据输出正确判罚，规避单镜头视觉偏差。

7 结论与局限

7.1 结论

1. 构建首个多机位体育视频问答基准SportMV-Bench，完整模拟VAR裁判多视角回放推理流程；
2. 实验证明现有MLLM短板为自主机位选择、细粒度视觉感知，而非逻辑与领域知识；
3. SportMV-Agent迭代智能体架构，通过机位切换+专用视觉工具分步提取证据，在基准上大幅超越通用大模型基线。

7.2 局限性

1. 数据集仅覆盖足球、篮球两类主流运动，缺少排球、橄榄球等项目；
2. 感知工具依赖现有开源多模态模型，专业体育细粒度识别仍存在误差；
3. 未拓展实时流媒体多机位在线推理场景。

7.3 未来方向

1. 扩充多运动类别多机位数据集；
2. 轻量化本地小模型实现整套智能体离线部署；
3. 拓展实时赛事直播在线判罚推理系统。

资源下载汇总

1. 论文HTML原文：https://arxiv.org/html/2607.11844v1
2. 论文PDF：https://arxiv.org/pdf/2607.11844
3. SportMV-Bench数据集、智能体完整代码、实验复现脚本：论文配套开源仓库
4. 实验运行环境：vLLM多模态推理框架、PySceneDetect镜头切分工具

附录

附录A 完整实验超参

1. 视频统一采样帧率：2fps；
2. SportMV-Agent配置：调度器GPT-4.1，感知工具Qwen2.5-VL-72B，工具输出Top3置信候选；
3. 评测指标：三次运行平均精确匹配准确率。

附录B 数据集构造缺陷过滤细则

列举大模型生成样本四类无效问题：答案幻觉、题目无视觉线索、常识可解简单题、泛通用无关视频问题，完整过滤判定标准。

附录C 更多定性推理案例

足球铲球、NBA投篮犯规等多机位对比样例，直观展示CoT基线与SportMV-Agent推理差异。

附录D 完整消融数据表

机位配置、推理策略、调度器、感知工具全套定量消融原始数值。

附录E 工程部署脚本

1. 数据集加载与预处理脚本；
2. SportMV-Agent迭代推理主程序；
3. 批量评测自动化运行脚本；
4. 指标统计与可视化代码。