【LLaVA】《Improved Baselines with Visual Instruction Tuning》译读笔记

Improved Baselines with Visual Instruction Tuning

摘要

大型多模态模型（LMM）最近在视觉指令调优方面取得了令人鼓舞的进展。本文首次系统性地研究在 LLaVA 框架下在受控环境中探讨 LMMs 的设计选择。本文展示了 LLaVA 中全连接的视觉语言连接器功能出乎意料地强大且数据效率高。