多模态理解

山顶夕景2 天前
计算机视觉·视频问答·多模态理解·视觉token压缩
【VLM】AdaCodec:用“预测视觉码”替代逐帧RGB输入AdaCodec:面向视频 MLLM 的预测式视觉 Token 压缩 AdaCodec: A Predictive Visual Code for Video MLLMs
山顶夕景9 天前
agent·强化学习·1024程序员节·视频理解·agentic·多模态理解·grpo
【VideoLLM】Agentic Video Understanding视频理解综述原文:Agentic Video Understanding: A Survey(Xinyu Deng, Siwen Luo, Daochang Liu, The University of Western Australia),2026 年 9 月首发于 arXiv:2609.31713v1 项目页:https://github.com/DXY0711/Awesome-Agentic-Video-Understanding
山顶夕景16 天前
vlm·视频分类·视频理解·多模态理解·jev
【Jev】VideoJev: System One Model for Video Understanding and InteractionVideoJev: System One Model for Video Understanding and Interaction ⚡️首个视频理解Jev模型,大幅度提高精度的同时提速3-100倍 🔗https://huggingface.co/papers/2610.18615 🌟https://github.com/MCG-NJU/VideoJEV
山顶夕景22 天前
视频理解·视频问答·多模态理解·grpo·rlvr
【CVPR2026】VideoSSR: Video Self-Supervised Reinforcement LearningRLVR,即可验证奖励强化学习,要求模型作答后能够明确判断对错。比如:这类训练信号比模糊的主观偏好更适合数学、代码和结构化问答,也被引入到视频多模态大模型中。
山顶夕景3 个月前
音视频·video·vlm·多模态理解
【全模态】音视频理解模型Audio-Visual FlamingoAudio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos arXiv:https://arxiv.org/abs/2607.16107 机构:NVIDIA + 马里兰大学 | 参数规模:7B,开源
山顶夕景4 个月前
vlm·rope·视频理解·多模态理解·长视频·token压缩
【VLM】视频理解LLaVA-OneVision-2(Codec-stream)链接:https://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-2
阿杰学AI1 年前
人工智能·ai·语言模型·自然语言处理·aigc·embedding·多模态理解
AI核心知识31——大语言模型之Multimodal Understanding(简洁且通俗易懂版)多模态理解 (Multimodal Understanding) 是多模态技术中侧重于 “输入” 和 “感知” 的那一面。
datamonday2 年前
人工智能·llm·图像生成·deepseek·多模态理解
[EAI-031] DeepSeek 的 Janus-Pro,统一的多模态理解和生成模型论文标题:Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling 论文作者:Xiaokang Chen, Zhiyu Wu, Xingchao Liu, Zizheng Pan, Wen Liu, Zhenda Xie, Xingkai Yu, Chong Ruan 论文链接:https://arxiv.org/abs/2501.17811v1 项目主页:https://github.co
我是有底线的