山大提出攻克视频大模型时间理解短板新方案

论文名称:TIME: Temporal-Sensitive Multi-Dimensional Instruction Tuning and Robust Benchmarking for Video-LLMs

作者团队-中文:山东大学、山东建筑大学、香港城市大学、快手

发表时间:2025年8月7日

论文链接:https://arxiv.org/pdf/2503.09994

Lab4AI链接:https://www.lab4ai.cn/paper/detail/reproductionPaper?utm_source=csdn_time&id=24baff47718a41a6aac260201a735417

✨研究背景:

视频大型语言模型在视频问答等任务中已展现显著能力,但时间理解仍是关键短板。现有问题主要包括两方面:一是缺乏专用时间敏感指令微调数据,现有数据集侧重通用场景泛化,部分生成式数据集适用范围有限难以支撑深度时间推理;二是模型易依赖数据捷径(如面部朝向而非真实时间分析),现有时间基准测试也受此影响,导致模型性能被高估。

✨研究内容:

为提升视频 - LLMs 的时间理解能力,该研究提出 "数据集 - 微调方法 - 基准测试" 三位一体的解决方案。

首先,构建含 34,000 个样本的 TIME 指令微调数据集,覆盖动态、推理、时长、位置、顺序五大时间维度,并通过去偏策略剔除数据捷径;

其次,设计多任务提示微调(MTP)框架,融入帧索引预测、指定视频问答两类辅助任务,无需额外标注即可增强模型时间理解;

最后,开发 TIMEBench 基准测试集,通过多源数据整合与单帧过滤机制,实现对模型时间推理能力的精准评估。

实验在 4 个主流视频 - LLMs 上验证了方法的有效性,显著提升了模型在时间相关任务上的性能。

核✨心贡献:

采用本文方法微调后,4个视频-LLMs在多数基准测试集上表现显著提升,尤其在时间理解专用基准(如TIMEBench、MVBench)上效果突出,且不损害通用任务性能。

相关推荐
zhangfeng11332 小时前
利用WorkBuddy 国产小龙虾 制作视频 1 Remotion 方案 2 备选:moviepy 方案渲染视频
人工智能
hoiii1872 小时前
孤立森林 (Isolation Forest) 快速异常检测系统
算法
冬奇Lab2 小时前
RAG 系列(十四):Self-RAG——让模型决定要不要检索
人工智能·llm
chatexcel3 小时前
AI工具里的知识库是什么?定义、原理、场景与ChatExcel示例解析
人工智能
冬奇Lab3 小时前
一天一个开源项目(第99篇):AiToEarn - 用 AI 把内容变成收入的一站式平台
人工智能·开源·资讯
千叶风行3 小时前
Text-to-SQL 技术设计与注意事项
前端·人工智能·后端
夜郎king3 小时前
Spring AI 对接大模型开发易错点总结与实战解决办法
java·人工智能·spring
从孑开始3 小时前
manyspeech-cli 语音识别命令行工具
人工智能·语音识别·工具·asr
hans汉斯3 小时前
计算机科学与应用|基于大模型深度语义理解的智能内容纠错系统
人工智能·计算机视觉·视觉检测·数据·病虫害检测
Mr数据杨3 小时前
【CanMV K210】视觉识别 颜色阈值分割与色块检测实验
人工智能·硬件开发·canmv k210