Awesome-LLMs-for-Video-Understanding 是 基于大型语言模型的视频理解研究
- github : https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding
- paper：Video Understanding with Large Language Models: A Survey
https://arxiv.org/pdf/2312.17432
视频理解的发展
为什么我们需要 vid-llms ?
😎 Vid-LLMs：模型
🤖基于llm的视频代理
| Title | Model | Date | Code | Venue |
|---|---|---|---|---|
| Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language | Socratic Models | 04/2022 | project page | arXiv |
| Video ChatCaptioner: Towards Enriched Spatiotemporal Descriptions github | Video ChatCaptioner | 04/2023 | code | arXiv |
| VLog: Video as a Long Document github | VLog | 04/2023 | code | - |
| ChatVideo: A Tracklet-centric Multimodal and Versatile Video Understanding System | ChatVideo | 04/2023 | project page | arXiv |
| MM-VID: Advancing Video Understanding with GPT-4V(ision) | MM-VID | 10/2023 | - | arXiv |
| MISAR: A Multimodal Instructional System with Augmented Reality github | MISAR | 10/2023 | project page | ICCV |
| Grounding-Prompter: Prompting LLM with Multimodal Information for Temporal Sentence Grounding in Long Videos | Grounding-Prompter | 12/2023 | - | arXiv |
| NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation | NaVid | 02/2024 | project page - | RSS |
| VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding | VideoAgent | 03/2024 | project page | arXiv |
👾 Vid-LLM 预训练
| 标题 | 模型 | 日期 | 代码 | 聚会地点 |
|---|---|---|---|---|
| 从大型语言模型中学习视频表示 github | LaViLa | 12/2022 | 代码 | CVPR的 |
| Vid2Seq:密集视频字幕 视觉语言模型 的大规模预训练 | Vid2Seq | 02/2023 | 代码 | CVPR的 |
| 一个 视觉-音频-字幕-文本全模态基础模型和数据集 github | VAST | 05/2023 | 代码 | 神经IPS |
| Merlin : 赋予多式联运 LLM 以远见 | Merlin | 12/2023 | - | arXiv的 |
👀Vid-LLM指令调优
使用连接适配器进行微调
使用插入适配器进行微调
| 标题 | 模型 | 日期 | 代码 | 聚会地点 |
|---|---|---|---|---|
| Otter : 具有上下文指令调优的多模态模型 github | Otter | 06/2023 | 代码 | arXiv的 |
| VideoLLM : 用大语言模型建模视频序列 github | 视频 LLM | 05/2023 | 代码 | arXiv的 |
混合适配器微调
| 标题 | 模型 | 日期 | 代码 | 聚会地点 |
|---|---|---|---|---|
| VTimeLLM:授权 LLM 掌握视频时刻 github | VTimeLLM | 11/2023 | 代码 | arXiv的 |
| GPT4Video:用于指令跟随理解和安全意识生成的统一多模态大语言模型 | GPT4Video | 11/2023 | - | arXiv的 |
🦾混合方法
| 标题 | 模型 | 日期 | 代码 | 聚会地点 |
|---|---|---|---|---|
| VideoChat:以聊天为中心的视频理解 github | VideoChat | 05/2023 | 代码演示 | arXiv的 |
| PG-Video-LLaVA:像素接地大型视频语言模型 github | PG-Video-LLaVA | 11/2023 | 代码 | arXiv的 |
| TimeChat:用于长视频理解的时间敏感多模态大型语言模型 github | TimeChat | 12/2023 | 代码 | CVPR的 |
| Video-GroundingDINO : 走向开放词汇时空视频接地 github | Video-GroundingDINO | 12/2023 | 代码 | arXiv的 |
| 一个视频价值4096个代币:用语言描述视频，以零镜头理解它们 | Video4096 | 05/2023 | EMNLP |
🦾免培训方法
| 标题 | 模型 | 日期 | 代码 | 聚会地点 |
|---|---|---|---|---|
| SlowFast-LLaVA : 视频大型语言模型的强大无训练基线 | SlowFast-LLaVA | 07/2024 | - | arXiv的 |
任务、数据集和基准
认知与预期
| 名字 | 纸 | 日期 | 链接 | 聚会地点 |
|---|---|---|---|---|
| Charades | 家庭中的好莱坞:众包数据收集以了解活动 | 2016 | 链接 | ECCV |
| YouTube8M | YouTube-8M:一个大规模视频分类基准 | 2016 | 链接 | - |
| ActivityNet | ActivityNet:人类活动理解的大规模视频基准 | 2015 | 链接 | CVPR的 |
| Kinetics-GEBC | GEB:通用事件边界标注、基础和检索的基准 | 2022 | 链接 | ECCV |
| **Kinetics-400 | 动力学人类动作视频数据集 | 2017 | 链接 | - |
| VidChapters-7M | VidChapters-7M : 视频章节的规模 | 2023 | 链接 | 神经IPS |
标题和描述
| 名字 | 纸 | 日期 | 链接 | 聚会地点 |
|---|---|---|---|---|
| 微软研究视频描述语料库 | Microsoft Research Video Description Corpus (MSVD) | 为释义评估收集高度平行的数据 | 2011 | 链接 | ACL |
| 微软研究院视频转文本(MSR-VTT) | MSR-VTT:用于桥接视频和语言的大型视频描述数据集 | 2016 | 链接 | CVPR |
| Tumblr GIF (GIF) | TGIF:动画GIF描述的新数据集和基准 | 2016 | 链接 | CVPR |
| Charades | 家庭中的好莱坞:活动理解的众包数据收集 | 2016 | 链接 | ECCV |
| Charades-Ego | 演员和观察者:第一人称和第三人称视频的联合建模 | 2018 | 链接 | CVPR |
| ActivityNet Captions | 视频中的密集字幕事件 | 2017 | 链接 | ICCV |
| HowTo100m | HowTo100M:通过观看1亿段视频片段来学习文本视频嵌入 | 2019 | 链接 | ICCV |
| Movie Audio Descriptions (MAD) | 一个可扩展的数据集，用于从电影音频描述的视频的语言基础 | 2021 | 链接 | CVPR的 |
| YouCook2 | 基于网络教学视频的程序自动学习 | 2017 | 链接 | AAAI |
| MovieNet | MovieNet:电影理解的整体数据集 | 2020 | 链接 | ECCV |
| Youku-mPLUG | Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 | 2023 | 链接 | arXiv |
| Video Timeline Tags (ViTT) | 密集视频字幕的多模态预训练 | 2020 | 链接 | AACL-IJCNLP |
| TVSum | TVSum:使用标题总结网络视频 | 2015 | 链接 | CVPR的 |
| SumMe | 从用户视频创建摘要 | 2014 | 链接 | ECCV |
| VideoXum | VideoXum:视频的跨模态视觉和纹理摘要 | 2023 | 链接 | IEEE Trans Multimedia |
| Multi-Source Video Captioning (MSVC) | **VideoLLaMA2:推进时空建模和音频理解视频 LLM ** | 2024 | 链接 | arXiv |
接地与回收
| 名字 | 纸 | 日期 | 链接 | 聚会地点 |
|---|---|---|---|---|
| Epic-Kitchens-100 | 重新调整自我中心视野 | 2021 | 链接 | IJCV |
| VCR (Visual Commonsense Reasoning) | 从识别到认知:视觉常识推理 | 2019 | 链接 | CVPR的 |
| Ego4D-MQ 和 Ego4D-NLQ | Ego4D:环游世界在3000小时的自我中心视频 | 2021 | 链接 | CVPR的 |
| Vid-STG | 它在哪里:多形式句子的时空视频基础 | 2020 | 链接 | CVPR的 |
| Charades-STA | TALL:通过语言查询进行时间活动定位 | 2017 | 链接 | ICCV |
| DiDeMo | 用自然语言定位视频中的瞬间 | 2017 | 链接 | ICCV |
问题回答
| 名字 | 纸 | 日期 | 链接 | 聚会地点 |
|---|---|---|---|---|
| MSVD-QA | 通过对外观和动作的逐渐细化的注意进行视频问答 | 2017 | 链接 | ACM Multimedia |
| MSRVTT-QA | 通过对外观和动作的逐渐细化的注意进行视频问答 | 2017 | 链接 | ACM Multimedia |
| TGIF-QA | TGIF-QA:面向视觉问答的时空推理 | 2017 | 链接 | CVPR |
| ActivityNet-QA | ActivityNet-QA:一个通过问答来理解复杂网络视频的数据集 | 2019 | 链接 | AAAI |
| Pororo-QA | DeepStory:视频故事QA由深度嵌入式记忆网络 | 2017 | 链接 | IJCAI |
| TVQA | TVQA:本地化，组合视频问答 | 2018 | 链接 | EMNLP |
视频教学调优
预训练 数据集
| 名字 | 纸 | 日期 | 链接 | 聚会地点 |
|---|---|---|---|---|
| VidChapters-7分钟 | 视频章节- 7m:视频章节的规模 | 2023 | 链接 | 神经IPS |
| 值为1米 | VALOR:视觉-听觉-语言全感知预训练模型和数据集 | 2023 | 链接 | arXiv的 |
| Youku-mPLUG | Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 | 2023 | 链接 | arXiv的 |
| InternVid（英语：InternVid） | intervid:用于多模态理解和生成的大规模视频文本数据集 | 2023 | 链接 | arXiv的 |
| VAST-27M | 一个视觉-音频-字幕-文本全模态基础模型和数据集 | 2023 | 链接 | 神经IPS |
微调数据集
| 名字 | 纸 | 日期 | 链接 | 聚会地点 |
|---|---|---|---|---|
| 模仿它 | MIMIC-IT:多模态上下文指令调谐 | 2023 | 链接 | arXiv的 |
| VideoInstruct100K | 视频聊天技术:通过大视觉和语言模型实现详细的视频理解 | 2023 | 链接 | arXiv的 |
| TimeIT公司 | TimeChat:用于长视频理解的时间敏感多模态大型语言模型 | 2023 | 链接 | CVPR的 |
基于视频的大型语言模型基准
| 标题 | 日期 | 代码 | 聚会地点 |
|---|---|---|---|
| LVBench:一个极长的视频理解基准 | 06/2024 | 代码 | - |
| Video-Bench:用于评估基于视频的大型语言模型的综合基准和工具包 | 11/2023 | 代码 | - |
| 感知测试:多模态视频模型的诊断基准 | 05/2023 | 代码 | NeurIPS 2023， ICCV 2023 研讨会 |
| Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 github | 07/2023 | 代码 | - |
| FETV:开放域文本到视频生成的细粒度评估基准 github | 11/2023 | 代码 | 神经IPS 2023 |
| MoVQA:理解长篇电影的通用问答基准 | 12/2023 | 代码 | - |
| MVBench:一个全面的多模态视频理解基准 | 12/2023 | 代码 | - |
| TempCompass:视频 LLM 真的懂视频吗? github | 03/2024 | 代码 | ACL 2024 |
| Video- mme:首个视频分析中多模态 LLM 的综合评估基准 github | 06/2024 | 代码 | - |
| 视频幻觉:在大型视频语言模型中评估内在和外在幻觉 github | 06/2024 | 代码 | - |
2024-08-24（六）