山大提出攻克视频大模型时间理解短板新方案

论文名称:TIME: Temporal-Sensitive Multi-Dimensional Instruction Tuning and Robust Benchmarking for Video-LLMs

作者团队-中文:山东大学、山东建筑大学、香港城市大学、快手

发表时间:2025年8月7日

论文链接:https://arxiv.org/pdf/2503.09994

Lab4AI链接:https://www.lab4ai.cn/paper/detail/reproductionPaper?utm_source=csdn_time&id=24baff47718a41a6aac260201a735417

✨研究背景:

视频大型语言模型在视频问答等任务中已展现显著能力,但时间理解仍是关键短板。现有问题主要包括两方面:一是缺乏专用时间敏感指令微调数据,现有数据集侧重通用场景泛化,部分生成式数据集适用范围有限难以支撑深度时间推理;二是模型易依赖数据捷径(如面部朝向而非真实时间分析),现有时间基准测试也受此影响,导致模型性能被高估。

✨研究内容:

为提升视频 - LLMs 的时间理解能力,该研究提出 "数据集 - 微调方法 - 基准测试" 三位一体的解决方案。

首先,构建含 34,000 个样本的 TIME 指令微调数据集,覆盖动态、推理、时长、位置、顺序五大时间维度,并通过去偏策略剔除数据捷径;

其次,设计多任务提示微调(MTP)框架,融入帧索引预测、指定视频问答两类辅助任务,无需额外标注即可增强模型时间理解;

最后,开发 TIMEBench 基准测试集,通过多源数据整合与单帧过滤机制,实现对模型时间推理能力的精准评估。

实验在 4 个主流视频 - LLMs 上验证了方法的有效性,显著提升了模型在时间相关任务上的性能。

核✨心贡献:

采用本文方法微调后,4个视频-LLMs在多数基准测试集上表现显著提升,尤其在时间理解专用基准(如TIMEBench、MVBench)上效果突出,且不损害通用任务性能。

相关推荐
大模型真好玩30 分钟前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi30 分钟前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
真上帝的左手40 分钟前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
墨林陌1 小时前
AI 热点日报(2026-11-18):OpenAI 发布 GPT-6.2,APEC 峰会聚焦 AI,AI 制药融资创新高
人工智能
byte轻骑兵2 小时前
【ATT】规范精讲[8]:配置要确认、灌包要速度、多字段要原子——BLE 写入的四重选择
人工智能·aiot·l2cap·嵌入式蓝牙·蓝牙链路管理
AAA修煤气灶刘哥2 小时前
Agent 都能干活了,软件还需要那么多按钮吗?
人工智能·后端·架构
Purple Coder2 小时前
开题报告学习
人工智能
狂师3 小时前
牛逼!谷歌亲自下场开源的AI自动化神器!
人工智能·开源·测试
金融小师妹3 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
ZhengEnCi3 小时前
中美AI竞赛之外其他国家在干什么:算力5%的欧洲、买卡的沙特与做场景的日韩
人工智能·gpu·nvidia