Awesome-LLMs-for-Video-Understanding 是 基于大型语言模型的视频理解研究
- github : https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding
- paper:Video Understanding with Large Language Models: A Survey
https://arxiv.org/pdf/2312.17432
视频理解的发展
为什么我们需要 vid-llms ?
😎 Vid-LLMs:模型
🤖基于llm的视频代理
Title | Model | Date | Code | Venue |
---|---|---|---|---|
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language | Socratic Models | 04/2022 | project page | arXiv |
Video ChatCaptioner: Towards Enriched Spatiotemporal Descriptions github | Video ChatCaptioner | 04/2023 | code | arXiv |
VLog: Video as a Long Document github | VLog | 04/2023 | code | - |
ChatVideo: A Tracklet-centric Multimodal and Versatile Video Understanding System | ChatVideo | 04/2023 | project page | arXiv |
MM-VID: Advancing Video Understanding with GPT-4V(ision) | MM-VID | 10/2023 | - | arXiv |
MISAR: A Multimodal Instructional System with Augmented Reality github | MISAR | 10/2023 | project page | ICCV |
Grounding-Prompter: Prompting LLM with Multimodal Information for Temporal Sentence Grounding in Long Videos | Grounding-Prompter | 12/2023 | - | arXiv |
NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation | NaVid | 02/2024 | project page - | RSS |
VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding | VideoAgent | 03/2024 | project page | arXiv |
👾 Vid-LLM 预训练
标题 | 模型 | 日期 | 代码 | 聚会地点 |
---|---|---|---|---|
从大型语言模型中学习视频表示 github | LaViLa | 12/2022 | 代码 | CVPR的 |
Vid2Seq:密集视频字幕 视觉语言模型 的大规模预训练 | Vid2Seq | 02/2023 | 代码 | CVPR的 |
一个 视觉-音频-字幕-文本全模态基础模型和数据集 github | VAST | 05/2023 | 代码 | 神经IPS |
Merlin : 赋予多式联运 LLM 以远见 | Merlin | 12/2023 | - | arXiv的 |
👀Vid-LLM指令调优
使用连接适配器进行微调
使用插入适配器进行微调
标题 | 模型 | 日期 | 代码 | 聚会地点 |
---|---|---|---|---|
Otter : 具有上下文指令调优的多模态模型 github | Otter | 06/2023 | 代码 | arXiv的 |
VideoLLM : 用大语言模型建模视频序列 github | 视频 LLM | 05/2023 | 代码 | arXiv的 |
混合适配器微调
标题 | 模型 | 日期 | 代码 | 聚会地点 |
---|---|---|---|---|
VTimeLLM:授权 LLM 掌握视频时刻 github | VTimeLLM | 11/2023 | 代码 | arXiv的 |
GPT4Video:用于指令跟随理解和安全意识生成的统一多模态大语言模型 | GPT4Video | 11/2023 | - | arXiv的 |
🦾混合方法
标题 | 模型 | 日期 | 代码 | 聚会地点 |
---|---|---|---|---|
VideoChat:以聊天为中心的视频理解 github | VideoChat | 05/2023 | 代码演示 | arXiv的 |
PG-Video-LLaVA:像素接地大型视频语言模型 github | PG-Video-LLaVA | 11/2023 | 代码 | arXiv的 |
TimeChat:用于长视频理解的时间敏感多模态大型语言模型 github | TimeChat | 12/2023 | 代码 | CVPR的 |
Video-GroundingDINO : 走向开放词汇时空视频接地 github | Video-GroundingDINO | 12/2023 | 代码 | arXiv的 |
一个视频价值4096个代币:用语言描述视频,以零镜头理解它们 | Video4096 | 05/2023 | EMNLP |
🦾免培训方法
标题 | 模型 | 日期 | 代码 | 聚会地点 |
---|---|---|---|---|
SlowFast-LLaVA : 视频大型语言模型的强大无训练基线 | SlowFast-LLaVA | 07/2024 | - | arXiv的 |
任务、数据集和基准
认知与预期
名字 | 纸 | 日期 | 链接 | 聚会地点 |
---|---|---|---|---|
Charades | 家庭中的好莱坞:众包数据收集以了解活动 | 2016 | 链接 | ECCV |
YouTube8M | YouTube-8M:一个大规模视频分类基准 | 2016 | 链接 | - |
ActivityNet | ActivityNet:人类活动理解的大规模视频基准 | 2015 | 链接 | CVPR的 |
Kinetics-GEBC | GEB:通用事件边界标注、基础和检索的基准 | 2022 | 链接 | ECCV |
**Kinetics-400 | 动力学人类动作视频数据集 | 2017 | 链接 | - |
VidChapters-7M | VidChapters-7M : 视频章节的规模 | 2023 | 链接 | 神经IPS |
标题和描述
名字 | 纸 | 日期 | 链接 | 聚会地点 |
---|---|---|---|---|
微软研究视频描述语料库 | Microsoft Research Video Description Corpus (MSVD) | 为释义评估收集高度平行的数据 | 2011 | 链接 | ACL |
微软研究院视频转文本(MSR-VTT) | MSR-VTT:用于桥接视频和语言的大型视频描述数据集 | 2016 | 链接 | CVPR |
Tumblr GIF (GIF) | TGIF:动画GIF描述的新数据集和基准 | 2016 | 链接 | CVPR |
Charades | 家庭中的好莱坞:活动理解的众包数据收集 | 2016 | 链接 | ECCV |
Charades-Ego | 演员和观察者:第一人称和第三人称视频的联合建模 | 2018 | 链接 | CVPR |
ActivityNet Captions | 视频中的密集字幕事件 | 2017 | 链接 | ICCV |
HowTo100m | HowTo100M:通过观看1亿段视频片段来学习文本视频嵌入 | 2019 | 链接 | ICCV |
Movie Audio Descriptions (MAD) | 一个可扩展的数据集,用于从电影音频描述的视频的语言基础 | 2021 | 链接 | CVPR的 |
YouCook2 | 基于网络教学视频的程序自动学习 | 2017 | 链接 | AAAI |
MovieNet | MovieNet:电影理解的整体数据集 | 2020 | 链接 | ECCV |
Youku-mPLUG | Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 | 2023 | 链接 | arXiv |
Video Timeline Tags (ViTT) | 密集视频字幕的多模态预训练 | 2020 | 链接 | AACL-IJCNLP |
TVSum | TVSum:使用标题总结网络视频 | 2015 | 链接 | CVPR的 |
SumMe | 从用户视频创建摘要 | 2014 | 链接 | ECCV |
VideoXum | VideoXum:视频的跨模态视觉和纹理摘要 | 2023 | 链接 | IEEE Trans Multimedia |
Multi-Source Video Captioning (MSVC) | **VideoLLaMA2:推进时空建模和音频理解视频 LLM ** | 2024 | 链接 | arXiv |
接地与回收
名字 | 纸 | 日期 | 链接 | 聚会地点 |
---|---|---|---|---|
Epic-Kitchens-100 | 重新调整自我中心视野 | 2021 | 链接 | IJCV |
VCR (Visual Commonsense Reasoning) | 从识别到认知:视觉常识推理 | 2019 | 链接 | CVPR的 |
Ego4D-MQ 和 Ego4D-NLQ | Ego4D:环游世界在3000小时的自我中心视频 | 2021 | 链接 | CVPR的 |
Vid-STG | 它在哪里:多形式句子的时空视频基础 | 2020 | 链接 | CVPR的 |
Charades-STA | TALL:通过语言查询进行时间活动定位 | 2017 | 链接 | ICCV |
DiDeMo | 用自然语言定位视频中的瞬间 | 2017 | 链接 | ICCV |
问题回答
名字 | 纸 | 日期 | 链接 | 聚会地点 |
---|---|---|---|---|
MSVD-QA | 通过对外观和动作的逐渐细化的注意进行视频问答 | 2017 | 链接 | ACM Multimedia |
MSRVTT-QA | 通过对外观和动作的逐渐细化的注意进行视频问答 | 2017 | 链接 | ACM Multimedia |
TGIF-QA | TGIF-QA:面向视觉问答的时空推理 | 2017 | 链接 | CVPR |
ActivityNet-QA | ActivityNet-QA:一个通过问答来理解复杂网络视频的数据集 | 2019 | 链接 | AAAI |
Pororo-QA | DeepStory:视频故事QA由深度嵌入式记忆网络 | 2017 | 链接 | IJCAI |
TVQA | TVQA:本地化,组合视频问答 | 2018 | 链接 | EMNLP |
视频教学调优
预训练 数据集
名字 | 纸 | 日期 | 链接 | 聚会地点 |
---|---|---|---|---|
VidChapters-7分钟 | 视频章节- 7m:视频章节的规模 | 2023 | 链接 | 神经IPS |
值为1米 | VALOR:视觉-听觉-语言全感知预训练模型和数据集 | 2023 | 链接 | arXiv的 |
Youku-mPLUG | Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 | 2023 | 链接 | arXiv的 |
InternVid(英语:InternVid) | intervid:用于多模态理解和生成的大规模视频文本数据集 | 2023 | 链接 | arXiv的 |
VAST-27M | 一个视觉-音频-字幕-文本全模态基础模型和数据集 | 2023 | 链接 | 神经IPS |
微调数据集
名字 | 纸 | 日期 | 链接 | 聚会地点 |
---|---|---|---|---|
模仿它 | MIMIC-IT:多模态上下文指令调谐 | 2023 | 链接 | arXiv的 |
VideoInstruct100K | 视频聊天技术:通过大视觉和语言模型实现详细的视频理解 | 2023 | 链接 | arXiv的 |
TimeIT公司 | TimeChat:用于长视频理解的时间敏感多模态大型语言模型 | 2023 | 链接 | CVPR的 |
基于视频的大型语言模型基准
标题 | 日期 | 代码 | 聚会地点 |
---|---|---|---|
LVBench:一个极长的视频理解基准 | 06/2024 | 代码 | - |
Video-Bench:用于评估基于视频的大型语言模型的综合基准和工具包 | 11/2023 | 代码 | - |
感知测试:多模态视频模型的诊断基准 | 05/2023 | 代码 | NeurIPS 2023, ICCV 2023 研讨会 |
Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 github | 07/2023 | 代码 | - |
FETV:开放域文本到视频生成的细粒度评估基准 github | 11/2023 | 代码 | 神经IPS 2023 |
MoVQA:理解长篇电影的通用问答基准 | 12/2023 | 代码 | - |
MVBench:一个全面的多模态视频理解基准 | 12/2023 | 代码 | - |
TempCompass:视频 LLM 真的懂视频吗? github | 03/2024 | 代码 | ACL 2024 |
Video- mme:首个视频分析中多模态 LLM 的综合评估基准 github | 06/2024 | 代码 | - |
视频幻觉:在大型视频语言模型中评估内在和外在幻觉 github | 06/2024 | 代码 | - |
2024-08-24(六)