山大提出攻克视频大模型时间理解短板新方案

论文名称:TIME: Temporal-Sensitive Multi-Dimensional Instruction Tuning and Robust Benchmarking for Video-LLMs

作者团队-中文:山东大学、山东建筑大学、香港城市大学、快手

发表时间:2025年8月7日

论文链接:https://arxiv.org/pdf/2503.09994

Lab4AI链接:https://www.lab4ai.cn/paper/detail/reproductionPaper?utm_source=csdn_time&id=24baff47718a41a6aac260201a735417

✨研究背景:

视频大型语言模型在视频问答等任务中已展现显著能力,但时间理解仍是关键短板。现有问题主要包括两方面:一是缺乏专用时间敏感指令微调数据,现有数据集侧重通用场景泛化,部分生成式数据集适用范围有限难以支撑深度时间推理;二是模型易依赖数据捷径(如面部朝向而非真实时间分析),现有时间基准测试也受此影响,导致模型性能被高估。

✨研究内容:

为提升视频 - LLMs 的时间理解能力,该研究提出 "数据集 - 微调方法 - 基准测试" 三位一体的解决方案。

首先,构建含 34,000 个样本的 TIME 指令微调数据集,覆盖动态、推理、时长、位置、顺序五大时间维度,并通过去偏策略剔除数据捷径;

其次,设计多任务提示微调(MTP)框架,融入帧索引预测、指定视频问答两类辅助任务,无需额外标注即可增强模型时间理解;

最后,开发 TIMEBench 基准测试集,通过多源数据整合与单帧过滤机制,实现对模型时间推理能力的精准评估。

实验在 4 个主流视频 - LLMs 上验证了方法的有效性,显著提升了模型在时间相关任务上的性能。

核✨心贡献:

采用本文方法微调后,4个视频-LLMs在多数基准测试集上表现显著提升,尤其在时间理解专用基准(如TIMEBench、MVBench)上效果突出,且不损害通用任务性能。

相关推荐
阿里云大数据AI技术1 分钟前
Hologres:一站式 Agentic 多模态检索分析平台
人工智能
回眸&啤酒鸭3 分钟前
【回眸】AI新鲜事——百度 AI 搜索实战应用场景与落地
人工智能·百度
jsl_jsl_jsl9 分钟前
《Agent 的记忆怎么做:实时记忆、被动压缩与主动整理的三层设计》
人工智能
词却12 分钟前
深度学习入门:数据预处理与自定义数据集
深度学习
林浩杨_21 分钟前
SIGIR 2026|南京大学:Video-GAR:“通过生成 Query 来验证视频语义理解”的生成增强范式
论文阅读·人工智能·算法
speop33 分钟前
Hello-Agents | Task00 环境配置
人工智能
71777733 分钟前
基于 Gitee 的软件成分分析(SCA)工具选型与集成参考
人工智能·gitee
子非鱼eva34 分钟前
Ascend950PR版本速配表
人工智能·ai
Henry-SAP35 分钟前
SAP PP模块核心机制解析
人工智能·云原生·sap·erp
imbackneverdie36 分钟前
论文中的机制图、原理图用什么软件画?AI生成可编辑矢量图的方法分享
人工智能·深度学习·计算机视觉·aigc·科研·ai绘图·科研绘图