Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs

大开眼界?探索多模态模型种视觉编码器的缺陷。

论文中指出,上面这些VQA问题,人类可以瞬间给出正确的答案,但是多模态给出的结果却是错误的。是哪个环节出了问题呢?视觉编码器的问题?大语言模型出现了幻觉?还是视觉特征与语言模型间的特征没有对齐?

作者将上述问题分成了9个类别(通过将涉及的问题和选项提供chatgpt,让chatgpt将这些问题归类)

  • 通过实验发现,增加模型规模/训练数据的数量,多模态模型仅在颜色/外观任务和物体状态/状况这两项任务上的表现有提升。
  • 通过实验发现,两张很相似的图片(如下图的两只蝴蝶),视觉编码器(CLIP)给出两张图片的相似度很高,但是自编码器(DINO)给出的相似度不是很高,作者定义这两幅图片为CLIP-blind pairs

    clip和多模态模型在这9项任务上的表现

通过增加自监督特征,多模态模型的能力有了提升

上图种左边是目前的多模态结构,中间部分是两部分特征线性相加,右边是交错混合的方式。

为了评价多模态模型在这些任务上的表现,建立了MMVP-VLM的测试集。

MMVP-VLM的建立过程

相关推荐
余俊晖6 天前
Qwen-VL系列多模态大模型技术演进-模型架构、训练方法、数据细节
人工智能·大模型·多模态·qwen
背水9 天前
Enhancing Zero-shot Text-to-Speech Synthesis with Human Feedback论文学习
人工智能·学习·多模态·tts
Nicolas89310 天前
【大模型理论篇】CogVLM:多模态预训练语言模型
语言模型·大模型·多模态·视觉理解·cogvlm·visionllm·视觉语言预训练模型
猫先生Mr.Mao13 天前
2025年2月AGI技术月评|重构创作边界:从视频生成革命到多模态生态的全面爆发
人工智能·大模型·aigc·agi·多模态·行业洞察
youcans_13 天前
【技术报告】谷歌开源多模态大模型 Gemma-3
人工智能·大语言模型·多模态·技术报告·gemma
AI生成未来15 天前
通向AGI的未来之路!首篇2D/视频/3D/4D统一生成框架全景综述(港科大&中山等)
多模态·图像生成·综述·多模态大模型·视频生成
余俊晖16 天前
DeepSeek-R1思路训练多模态大模型-Vision-R1开源及实现方法思路
llm·多模态·deepseek
余俊晖22 天前
Phi-4-multimodal:图、文、音频统一的多模态大模型架构、训练方法、数据细节
llm·多模态
十有久诚1 个月前
Modular Prompt Learning Improves_Vision-Language Models
人工智能·提示学习·多模态·视觉语言模型
产品媛Gloria Deng1 个月前
AI多模态梳理与应用思考|从单文本到多视觉的生成式AI的AGI关键路径
人工智能·llm·生成式ai·agi·多模态