Awesome-LLMs-for-Video-Understanding - 基于大型语言模型的视频理解研究

Awesome-LLMs-for-Video-Understanding 是 基于大型语言模型的视频理解研究


视频理解的发展


为什么我们需要 vid-llms ?


😎 Vid-LLMs:模型


🤖基于llm的视频代理

Title Model Date Code Venue
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language Socratic Models 04/2022 project page arXiv
Video ChatCaptioner: Towards Enriched Spatiotemporal Descriptions github Video ChatCaptioner 04/2023 code arXiv
VLog: Video as a Long Document github VLog 04/2023 code -
ChatVideo: A Tracklet-centric Multimodal and Versatile Video Understanding System ChatVideo 04/2023 project page arXiv
MM-VID: Advancing Video Understanding with GPT-4V(ision) MM-VID 10/2023 - arXiv
MISAR: A Multimodal Instructional System with Augmented Reality github MISAR 10/2023 project page ICCV
Grounding-Prompter: Prompting LLM with Multimodal Information for Temporal Sentence Grounding in Long Videos Grounding-Prompter 12/2023 - arXiv
NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation NaVid 02/2024 project page - RSS
VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding VideoAgent 03/2024 project page arXiv

👾 Vid-LLM 预训练

标题 模型 日期 代码 聚会地点
从大型语言模型中学习视频表示 github LaViLa 12/2022 代码 CVPR的
Vid2Seq:密集视频字幕 视觉语言模型 的大规模预训练 Vid2Seq 02/2023 代码 CVPR的
一个 视觉-音频-字幕-文本全模态基础模型和数据集 github VAST 05/2023 代码 神经IPS
Merlin : 赋予多式联运 LLM 以远见 Merlin 12/2023 - arXiv的

👀Vid-LLM指令调优


使用连接适配器进行微调
标题 模型 日期 代码 聚会地点
Video- llama : 一个用于视频理解的教学微调视觉语言模型 github Video-LLaMA 06/2023 代码 arXiv的
VALLEY : 视频助手与大语言模型增强能力 github VALLEY 06/2023 代码 -
视频聊天技术:通过大视觉和语言模型实现详细的视频理解 github Video-ChatGPT 06/2023 代码 arXiv的
多模态语言建模与图像、音频、视频和文本集成 github Macaw-LLM 06/2023 代码 arXiv的
LLMVA-GEBC:用于通用事件边界字幕的带有视频适配器的大型语言模型 github LLMVA-GEBC 06/2023 代码 CVPR的
Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 github mPLUG-video 06/2023 代码 arXiv的
MovieChat:从密集令牌到稀疏记忆的长视频理解 github mPLUG-video 07/2023 代码 arXiv的
大型语言模型 是视频问答的时间 和因果推理器 github LLaMA-VQA 10/2023 代码 EMNLP
Video-LLaVA:通过投影前的对齐学习统一的视觉表现 github Video-LLaVA 11/2023 代码 arXiv的
Chat-UniVi:统一的视觉表示使大型语言模型具有图像和视频理解能力 github Chat-UniVi 11/2023 代码 arXiv的
LLaMA-VID:在大型语言模型中,一个图像值2个符号 github LLaMA-VID 11/2023 代码 arXiv的
VISTA-LLAMA:可靠的视频叙述者通过相等距离的视觉标记 VISTA-LLAMA 12/2023 - arXiv的
**视频理解视听 LLM ** - 12/2023 - arXiv的
AutoAD:上下文中的电影描述 AutoAD 06/2023 代码 CVPR的
AutoAD II:续集-谁,什么时候,什么在电影音频描述 AutoAD II 10/2023 - ICCV
多模态大型语言模型的细粒度视听联合表示 github FAVOR 10/2023 代码 arXiv的
**VideoLLaMA2:推进时空建模和音频理解视频 LLM ** github VideoLLaMA2 06/2024 代码 arXiv的

使用插入适配器进行微调
标题 模型 日期 代码 聚会地点
Otter : 具有上下文指令调优的多模态模型 github Otter 06/2023 代码 arXiv的
VideoLLM : 用大语言模型建模视频序列 github 视频 LLM 05/2023 代码 arXiv的

混合适配器微调
标题 模型 日期 代码 聚会地点
VTimeLLM:授权 LLM 掌握视频时刻 github VTimeLLM 11/2023 代码 arXiv的
GPT4Video:用于指令跟随理解和安全意识生成的统一多模态大语言模型 GPT4Video 11/2023 - arXiv的

🦾混合方法

标题 模型 日期 代码 聚会地点
VideoChat:以聊天为中心的视频理解 github VideoChat 05/2023 代码演示 arXiv的
PG-Video-LLaVA:像素接地大型视频语言模型 github PG-Video-LLaVA 11/2023 代码 arXiv的
TimeChat:用于长视频理解的时间敏感多模态大型语言模型 github TimeChat 12/2023 代码 CVPR的
Video-GroundingDINO : 走向开放词汇时空视频接地 github Video-GroundingDINO 12/2023 代码 arXiv的
一个视频价值4096个代币:用语言描述视频,以零镜头理解它们 Video4096 05/2023 EMNLP

🦾免培训方法

标题 模型 日期 代码 聚会地点
SlowFast-LLaVA : 视频大型语言模型的强大无训练基线 SlowFast-LLaVA 07/2024 - arXiv的


任务、数据集和基准


认知与预期
名字 日期 链接 聚会地点
Charades 家庭中的好莱坞:众包数据收集以了解活动 2016 链接 ECCV
YouTube8M YouTube-8M:一个大规模视频分类基准 2016 链接 -
ActivityNet ActivityNet:人类活动理解的大规模视频基准 2015 链接 CVPR的
Kinetics-GEBC GEB:通用事件边界标注、基础和检索的基准 2022 链接 ECCV
**Kinetics-400 动力学人类动作视频数据集 2017 链接 -
VidChapters-7M VidChapters-7M : 视频章节的规模 2023 链接 神经IPS

标题和描述
名字 日期 链接 聚会地点
微软研究视频描述语料库 | Microsoft Research Video Description Corpus (MSVD) 为释义评估收集高度平行的数据 2011 链接 ACL
微软研究院视频转文本(MSR-VTT) MSR-VTT:用于桥接视频和语言的大型视频描述数据集 2016 链接 CVPR
Tumblr GIF (GIF) TGIF:动画GIF描述的新数据集和基准 2016 链接 CVPR
Charades 家庭中的好莱坞:活动理解的众包数据收集 2016 链接 ECCV
Charades-Ego 演员和观察者:第一人称和第三人称视频的联合建模 2018 链接 CVPR
ActivityNet Captions 视频中的密集字幕事件 2017 链接 ICCV
HowTo100m HowTo100M:通过观看1亿段视频片段来学习文本视频嵌入 2019 链接 ICCV
Movie Audio Descriptions (MAD) 一个可扩展的数据集,用于从电影音频描述的视频的语言基础 2021 链接 CVPR的
YouCook2 基于网络教学视频的程序自动学习 2017 链接 AAAI
MovieNet MovieNet:电影理解的整体数据集 2020 链接 ECCV
Youku-mPLUG Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 2023 链接 arXiv
Video Timeline Tags (ViTT) 密集视频字幕的多模态预训练 2020 链接 AACL-IJCNLP
TVSum TVSum:使用标题总结网络视频 2015 链接 CVPR的
SumMe 从用户视频创建摘要 2014 链接 ECCV
VideoXum VideoXum:视频的跨模态视觉和纹理摘要 2023 链接 IEEE Trans Multimedia
Multi-Source Video Captioning (MSVC) **VideoLLaMA2:推进时空建模和音频理解视频 LLM ** 2024 链接 arXiv

接地与回收
名字 日期 链接 聚会地点
Epic-Kitchens-100 重新调整自我中心视野 2021 链接 IJCV
VCR (Visual Commonsense Reasoning) 从识别到认知:视觉常识推理 2019 链接 CVPR的
Ego4D-MQ 和 Ego4D-NLQ Ego4D:环游世界在3000小时的自我中心视频 2021 链接 CVPR的
Vid-STG 它在哪里:多形式句子的时空视频基础 2020 链接 CVPR的
Charades-STA TALL:通过语言查询进行时间活动定位 2017 链接 ICCV
DiDeMo 用自然语言定位视频中的瞬间 2017 链接 ICCV

问题回答
名字 日期 链接 聚会地点
MSVD-QA 通过对外观和动作的逐渐细化的注意进行视频问答 2017 链接 ACM Multimedia
MSRVTT-QA 通过对外观和动作的逐渐细化的注意进行视频问答 2017 链接 ACM Multimedia
TGIF-QA TGIF-QA:面向视觉问答的时空推理 2017 链接 CVPR
ActivityNet-QA ActivityNet-QA:一个通过问答来理解复杂网络视频的数据集 2019 链接 AAAI
Pororo-QA DeepStory:视频故事QA由深度嵌入式记忆网络 2017 链接 IJCAI
TVQA TVQA:本地化,组合视频问答 2018 链接 EMNLP

视频教学调优

预训练 数据集
名字 日期 链接 聚会地点
VidChapters-7分钟 视频章节- 7m:视频章节的规模 2023 链接 神经IPS
值为1米 VALOR:视觉-听觉-语言全感知预训练模型和数据集 2023 链接 arXiv的
Youku-mPLUG Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 2023 链接 arXiv的
InternVid(英语:InternVid) intervid:用于多模态理解和生成的大规模视频文本数据集 2023 链接 arXiv的
VAST-27M 一个视觉-音频-字幕-文本全模态基础模型和数据集 2023 链接 神经IPS

微调数据集
名字 日期 链接 聚会地点
模仿它 MIMIC-IT:多模态上下文指令调谐 2023 链接 arXiv的
VideoInstruct100K 视频聊天技术:通过大视觉和语言模型实现详细的视频理解 2023 链接 arXiv的
TimeIT公司 TimeChat:用于长视频理解的时间敏感多模态大型语言模型 2023 链接 CVPR的

基于视频的大型语言模型基准
标题 日期 代码 聚会地点
LVBench:一个极长的视频理解基准 06/2024 代码 -
Video-Bench:用于评估基于视频的大型语言模型的综合基准和工具包 11/2023 代码 -
感知测试:多模态视频模型的诊断基准 05/2023 代码 NeurIPS 2023, ICCV 2023 研讨会
Youku-mPLUG:用于预训练和基准测试的1000万大规模中文视频语言数据集 github 07/2023 代码 -
FETV:开放域文本到视频生成的细粒度评估基准 github 11/2023 代码 神经IPS 2023
MoVQA:理解长篇电影的通用问答基准 12/2023 代码 -
MVBench:一个全面的多模态视频理解基准 12/2023 代码 -
TempCompass:视频 LLM 真的懂视频吗? github 03/2024 代码 ACL 2024
Video- mme:首个视频分析中多模态 LLM 的综合评估基准 github 06/2024 代码 -
视频幻觉:在大型视频语言模型中评估内在和外在幻觉 github 06/2024 代码 -

2024-08-24(六)

相关推荐
埃菲尔铁塔_CV算法24 分钟前
人工智能图像算法:开启视觉新时代的钥匙
人工智能·算法
EasyCVR24 分钟前
EHOME视频平台EasyCVR视频融合平台使用OBS进行RTMP推流,WebRTC播放出现抖动、卡顿如何解决?
人工智能·算法·ffmpeg·音视频·webrtc·监控视频接入
打羽毛球吗️30 分钟前
机器学习中的两种主要思路:数据驱动与模型驱动
人工智能·机器学习
好喜欢吃红柚子1 小时前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
小馒头学python1 小时前
机器学习是什么?AIGC又是什么?机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
神奇夜光杯1 小时前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
正义的彬彬侠1 小时前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost
Debroon1 小时前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~1 小时前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨1 小时前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测