论文标题：
OneLLM: One Framework to Align All Modalities with Language
OneLLM：一个框架，将所有模态与语言对齐
论文链接：
Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs论文下载
论文作者：
Jiaming Han, Kaixiong Gong, Yiyuan Zhang, Jiaqi Wang, Kaipeng Zhang, Dahua Lin, Yu Qiao, Peng Gao, Xiangyu Yue
内容简介：
本论文介绍了OneLLM，这是一个多模态大型语言模型（MLLM），能够将八种不同的模态与语言对齐，使用统一的框架。OneLLM通过统一的多模态编码器和逐步多模态对齐管道实现这一目标。作者首先训练了一个图像投影模块，将视觉编码器与大型语言模型（LLM）连接起来。然后，他们构建了一个通用投影模块（UPM），通过混合多个图像投影模块和动态路由来实现。最终，他们使用UPM逐步将更多模态与LLM对齐。
为了充分利用OneLLM遵循指令的潜力，作者还策划了一个全面的多模态指令数据集，包括来自图像、音频、视频、点云、深度/法线图、惯性测量单元（IMU）和功能性磁共振成像（fMRI）脑活动的2M项。OneLLM在25个不同的基准测试中进行了评估，涵盖了多模态描述、问题回答和推理等任务，表现出色。
关键点：
1.统一框架：
OneLLM提出了一个统一的框架，用于将多种模态输入与语言对齐，与以往工作不同，它展示了一个统一的多模态编码器，可以作为MLLMs的通用和可扩展组件。
2.多模态编码器和投影模块：
与以往工作不同，OneLLM的编码器和投影模块可以跨所有模态共享，通过预训练的视觉-语言模型和混合投影专家来实现。
3.逐步多模态对齐：
作者提出了一个逐步多模态对齐管道，首先从视觉LLM开始，然后逐步将其他模态与LLM对齐，最终实现对八种模态的支持。
4.多模态指令数据集：
为了充分利用OneLLM的能力，作者策划了一个大规模的多模态指令数据集，包含2M项，涵盖八种模态，通过在该数据集上微调，OneLLM在多模态任务上表现出色。
5.性能评估：
OneLLM在多个基准测试中进行了评估，包括多模态描述、问题回答和推理任务，展现了其优越的性能，超越了以往的专业模型和MLLMs。
CV-MLLM必读论文合集：
希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！
论文代码链接： OneLLM GitHub Repository