Awesome-LLMs-for-Video-Understanding - 基于大型语言模型的视频理解研究

Awesome-LLMs-for-Video-Understanding 是 基于大型语言模型的视频理解研究


视频理解的发展


为什么我们需要 vid-llms ?


😎 Vid-LLMs:模型


🤖基于llm的视频代理

Title Model Date Code Venue
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language Socratic Models 04/2022 project page arXiv
Video ChatCaptioner: Towards Enriched Spatiotemporal Descriptions github Video ChatCaptioner 04/2023 code arXiv
VLog: Video as a Long Document github VLog 04/2023 code -
ChatVideo: A Tracklet-centric Multimodal and Versatile Video Understanding System ChatVideo 04/2023 project page arXiv
MM-VID: Advancing Video Understanding with GPT-4V(ision) MM-VID 10/2023 - arXiv
MISAR: A Multimodal Instructional System with Augmented Reality github MISAR 10/2023 project page ICCV
Grounding-Prompter: Prompting LLM with Multimodal Information for Temporal Sentence Grounding in Long Videos Grounding-Prompter 12/2023 - arXiv
NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation NaVid 02/2024 project page - RSS
VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding VideoAgent 03/2024 project page arXiv

👾 Vid-LLM 预训练

标题 模型 日期 代码 聚会地点
从大型语言模型中学习视频表示 github LaViLa 12/2022 代码 CVPR的
Vid2Seq:密集视频字幕 视觉语言模型 的大规模预训练 Vid2Seq 02/2023 代码 CVPR的
一个 视觉-音频-字幕-文本全模态基础模型和数据集 github VAST 05/2023 代码 神经IPS
Merlin : 赋予多式联运 LLM 以远见 Merlin 12/2023 - arXiv的

👀Vid-LLM指令调优


使用连接适配器进行微调
标题 模型 日期 代码 聚会地点
Video- llama : 一个用于视频理解的教学微调视觉语言模型 github Video-LLaMA 06/2023 代码 arXiv的
VALLEY : 视频助手与大语言模型增强能力 github VALLEY 06/2023 代码 -
视频聊天技术:通过大视觉和语言模型实现详细的视频理解 github Video-ChatGPT 06/2023 代码 arXiv的
多模态语言建模与图像、音频、视频和文本集成 github Macaw-LLM 06/2023 代码 arXiv的
LLMVA-GEBC:用于通用事件边界字幕的带有视频适配器的大型语言模型 github LLMVA-GEBC 06/2023 代码 CVPR的
Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 github mPLUG-video 06/2023 代码 arXiv的
MovieChat:从密集令牌到稀疏记忆的长视频理解 github mPLUG-video 07/2023 代码 arXiv的
大型语言模型 是视频问答的时间 和因果推理器 github LLaMA-VQA 10/2023 代码 EMNLP
Video-LLaVA:通过投影前的对齐学习统一的视觉表现 github Video-LLaVA 11/2023 代码 arXiv的
Chat-UniVi:统一的视觉表示使大型语言模型具有图像和视频理解能力 github Chat-UniVi 11/2023 代码 arXiv的
LLaMA-VID:在大型语言模型中,一个图像值2个符号 github LLaMA-VID 11/2023 代码 arXiv的
VISTA-LLAMA:可靠的视频叙述者通过相等距离的视觉标记 VISTA-LLAMA 12/2023 - arXiv的
**视频理解视听 LLM ** - 12/2023 - arXiv的
AutoAD:上下文中的电影描述 AutoAD 06/2023 代码 CVPR的
AutoAD II:续集-谁,什么时候,什么在电影音频描述 AutoAD II 10/2023 - ICCV
多模态大型语言模型的细粒度视听联合表示 github FAVOR 10/2023 代码 arXiv的
**VideoLLaMA2:推进时空建模和音频理解视频 LLM ** github VideoLLaMA2 06/2024 代码 arXiv的

使用插入适配器进行微调
标题 模型 日期 代码 聚会地点
Otter : 具有上下文指令调优的多模态模型 github Otter 06/2023 代码 arXiv的
VideoLLM : 用大语言模型建模视频序列 github 视频 LLM 05/2023 代码 arXiv的

混合适配器微调
标题 模型 日期 代码 聚会地点
VTimeLLM:授权 LLM 掌握视频时刻 github VTimeLLM 11/2023 代码 arXiv的
GPT4Video:用于指令跟随理解和安全意识生成的统一多模态大语言模型 GPT4Video 11/2023 - arXiv的

🦾混合方法

标题 模型 日期 代码 聚会地点
VideoChat:以聊天为中心的视频理解 github VideoChat 05/2023 代码演示 arXiv的
PG-Video-LLaVA:像素接地大型视频语言模型 github PG-Video-LLaVA 11/2023 代码 arXiv的
TimeChat:用于长视频理解的时间敏感多模态大型语言模型 github TimeChat 12/2023 代码 CVPR的
Video-GroundingDINO : 走向开放词汇时空视频接地 github Video-GroundingDINO 12/2023 代码 arXiv的
一个视频价值4096个代币:用语言描述视频,以零镜头理解它们 Video4096 05/2023 EMNLP

🦾免培训方法

标题 模型 日期 代码 聚会地点
SlowFast-LLaVA : 视频大型语言模型的强大无训练基线 SlowFast-LLaVA 07/2024 - arXiv的


任务、数据集和基准


认知与预期
名字 日期 链接 聚会地点
Charades 家庭中的好莱坞:众包数据收集以了解活动 2016 链接 ECCV
YouTube8M YouTube-8M:一个大规模视频分类基准 2016 链接 -
ActivityNet ActivityNet:人类活动理解的大规模视频基准 2015 链接 CVPR的
Kinetics-GEBC GEB:通用事件边界标注、基础和检索的基准 2022 链接 ECCV
**Kinetics-400 动力学人类动作视频数据集 2017 链接 -
VidChapters-7M VidChapters-7M : 视频章节的规模 2023 链接 神经IPS

标题和描述
名字 日期 链接 聚会地点
微软研究视频描述语料库 | Microsoft Research Video Description Corpus (MSVD) 为释义评估收集高度平行的数据 2011 链接 ACL
微软研究院视频转文本(MSR-VTT) MSR-VTT:用于桥接视频和语言的大型视频描述数据集 2016 链接 CVPR
Tumblr GIF (GIF) TGIF:动画GIF描述的新数据集和基准 2016 链接 CVPR
Charades 家庭中的好莱坞:活动理解的众包数据收集 2016 链接 ECCV
Charades-Ego 演员和观察者:第一人称和第三人称视频的联合建模 2018 链接 CVPR
ActivityNet Captions 视频中的密集字幕事件 2017 链接 ICCV
HowTo100m HowTo100M:通过观看1亿段视频片段来学习文本视频嵌入 2019 链接 ICCV
Movie Audio Descriptions (MAD) 一个可扩展的数据集,用于从电影音频描述的视频的语言基础 2021 链接 CVPR的
YouCook2 基于网络教学视频的程序自动学习 2017 链接 AAAI
MovieNet MovieNet:电影理解的整体数据集 2020 链接 ECCV
Youku-mPLUG Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 2023 链接 arXiv
Video Timeline Tags (ViTT) 密集视频字幕的多模态预训练 2020 链接 AACL-IJCNLP
TVSum TVSum:使用标题总结网络视频 2015 链接 CVPR的
SumMe 从用户视频创建摘要 2014 链接 ECCV
VideoXum VideoXum:视频的跨模态视觉和纹理摘要 2023 链接 IEEE Trans Multimedia
Multi-Source Video Captioning (MSVC) **VideoLLaMA2:推进时空建模和音频理解视频 LLM ** 2024 链接 arXiv

接地与回收
名字 日期 链接 聚会地点
Epic-Kitchens-100 重新调整自我中心视野 2021 链接 IJCV
VCR (Visual Commonsense Reasoning) 从识别到认知:视觉常识推理 2019 链接 CVPR的
Ego4D-MQ 和 Ego4D-NLQ Ego4D:环游世界在3000小时的自我中心视频 2021 链接 CVPR的
Vid-STG 它在哪里:多形式句子的时空视频基础 2020 链接 CVPR的
Charades-STA TALL:通过语言查询进行时间活动定位 2017 链接 ICCV
DiDeMo 用自然语言定位视频中的瞬间 2017 链接 ICCV

问题回答
名字 日期 链接 聚会地点
MSVD-QA 通过对外观和动作的逐渐细化的注意进行视频问答 2017 链接 ACM Multimedia
MSRVTT-QA 通过对外观和动作的逐渐细化的注意进行视频问答 2017 链接 ACM Multimedia
TGIF-QA TGIF-QA:面向视觉问答的时空推理 2017 链接 CVPR
ActivityNet-QA ActivityNet-QA:一个通过问答来理解复杂网络视频的数据集 2019 链接 AAAI
Pororo-QA DeepStory:视频故事QA由深度嵌入式记忆网络 2017 链接 IJCAI
TVQA TVQA:本地化,组合视频问答 2018 链接 EMNLP

视频教学调优

预训练 数据集
名字 日期 链接 聚会地点
VidChapters-7分钟 视频章节- 7m:视频章节的规模 2023 链接 神经IPS
值为1米 VALOR:视觉-听觉-语言全感知预训练模型和数据集 2023 链接 arXiv的
Youku-mPLUG Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 2023 链接 arXiv的
InternVid(英语:InternVid) intervid:用于多模态理解和生成的大规模视频文本数据集 2023 链接 arXiv的
VAST-27M 一个视觉-音频-字幕-文本全模态基础模型和数据集 2023 链接 神经IPS

微调数据集
名字 日期 链接 聚会地点
模仿它 MIMIC-IT:多模态上下文指令调谐 2023 链接 arXiv的
VideoInstruct100K 视频聊天技术:通过大视觉和语言模型实现详细的视频理解 2023 链接 arXiv的
TimeIT公司 TimeChat:用于长视频理解的时间敏感多模态大型语言模型 2023 链接 CVPR的

基于视频的大型语言模型基准
标题 日期 代码 聚会地点
LVBench:一个极长的视频理解基准 06/2024 代码 -
Video-Bench:用于评估基于视频的大型语言模型的综合基准和工具包 11/2023 代码 -
感知测试:多模态视频模型的诊断基准 05/2023 代码 NeurIPS 2023, ICCV 2023 研讨会
Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 github 07/2023 代码 -
FETV:开放域文本到视频生成的细粒度评估基准 github 11/2023 代码 神经IPS 2023
MoVQA:理解长篇电影的通用问答基准 12/2023 代码 -
MVBench:一个全面的多模态视频理解基准 12/2023 代码 -
TempCompass:视频 LLM 真的懂视频吗? github 03/2024 代码 ACL 2024
Video- mme:首个视频分析中多模态 LLM 的综合评估基准 github 06/2024 代码 -
视频幻觉:在大型视频语言模型中评估内在和外在幻觉 github 06/2024 代码 -

2024-08-24(六)

相关推荐
速融云1 小时前
汽车制造行业案例 | 发动机在制造品管理全解析(附解决方案模板)
大数据·人工智能·自动化·汽车·制造
AI明说2 小时前
什么是稀疏 MoE?Doubao-1.5-pro 如何以少胜多?
人工智能·大模型·moe·豆包
XianxinMao2 小时前
重构开源LLM分类:从二分到三分的转变
人工智能·语言模型·开源
asd87052 小时前
训练大模型所需要的内存计算
大模型·显存计算
Elastic 中国社区官方博客2 小时前
使用 Elasticsearch 导航检索增强生成图表
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
云天徽上3 小时前
【数据可视化】全国星巴克门店可视化
人工智能·机器学习·信息可视化·数据挖掘·数据分析
大嘴吧Lucy3 小时前
大模型 | AI驱动的数据分析:利用自然语言实现数据查询到可视化呈现
人工智能·信息可视化·数据分析
艾思科蓝 AiScholar3 小时前
【连续多届EI稳定收录&出版级别高&高录用快检索】第五届机械设计与仿真国际学术会议(MDS 2025)
人工智能·数学建模·自然语言处理·系统架构·机器人·软件工程·拓扑学
watersink4 小时前
面试题库笔记
大数据·人工智能·机器学习
Yuleave4 小时前
PaSa:基于大语言模型的综合学术论文搜索智能体
人工智能·语言模型·自然语言处理