MM-LLMs :多模态大语言模型综述

MM-LLMs:

Recent Advances in MultiModal Large Language Models

https://arxiv.org/pdf/2401.13601

In the past year, MultiModal Large Language Models (MM-LLMs) have undergone substantial advancements, augmenting off-the-shelf LLMs to support MM inputs or outputs via cost-effective training strategies. The resulting models not only preserve the inherent reasoning and decision-making capabilities of LLMs but also empower a diverse range of MM tasks. In this paper, we provide a comprehensive survey aimed at facilitating further research of MM-LLMs. Initially, we outline general design formulations for model architecture and training pipeline. Subsequently, we introduce a taxonomy encompassing 126 MM-LLMs, each characterized by its specific formulations. Furthermore, we review the performance of selected MM-LLMs on mainstream benchmarks and summarize key training recipes to enhance the potency of MM-LLMs. Finally, we explore promising directions for MM-LLMs while concurrently maintaining a real-time tracking website1 for the latest developments in the field. We hope that this survey contributes to the ongoing advancement of the MM-LLMs domain.

在过去一年中,多模态大型语言模型(MM-LLMs)取得了显著进展,通过成本效益高的训练策略,增强了现成的LLMs(大型语言模型),以支持多模态输入或输出。这些模型不仅保留了LLMs固有的推理和决策能力,还增强了多种多模态任务的处理能力。本文旨在通过全面综述,促进MM-LLMs领域的进一步研究。

首先,本文概述了模型架构和训练流程的一般设计公式。

随后,本文引入了一个包含126个MM-LLMs的分类体系,每个模型都有其特定的设计公式。

此外,本文还回顾了部分MM-LLMs在主流基准测试中的表现,并总结了增强MM-LLMs效能的关键训练策略。

最后,本文在探索MM-LLMs未来发展方向的同时,还维护了一个实时跟踪网站1,以关注该领域的最新进展。我们希望本次综述能为MM-LLMs领域的持续发展做出贡献。

相关推荐
梵得儿SHI31 分钟前
Prompt Engineering 核心知识:从基础模式到思维链,掌握大模型高效交互秘籍
大模型·prompt·交互·提示词·对话·大模型提问艺术·极简指令
l12345sy4 小时前
Day32_【 NLP _2.RNN及其变体 _(3) GRU】
rnn·自然语言处理·gru
hzp6664 小时前
Magnus:面向大规模机器学习工作负载的综合数据管理方法
人工智能·深度学习·机器学习·大模型·llm·数据湖·大数据存储
尽兴-19 小时前
【10 分钟!M4 Mac mini 离线部署「私有 ChatGPT」完整实录】
macos·ai·chatgpt·大模型·ollama·私有化
OpenBayes19 小时前
教程上新|重新定义下一代 OCR:IBM 最新开源 Granite-docling-258M,实现端到端的「结构+内容」统一理解
人工智能·深度学习·机器学习·自然语言处理·ocr·图像识别·文档处理
桃子叔叔20 小时前
从0到1讲解大模型中的关键步骤(一)分词、词性标注、命名实体识别
人工智能·大模型·多模态
艾醒(AiXing-w)1 天前
探索大语言模型(LLM): 大模型应用与对应的硬件选型一览表
人工智能·语言模型·自然语言处理
songyuc1 天前
Eureka: Human-Level Reward Design via Coding Large Language Models 译读笔记
笔记·语言模型·eureka
努力犯错1 天前
AI视频修复技术入门:从Sora水印谈起,我们如何“抹去”未来影像的瑕疵?
大数据·人工智能·语言模型·开源·音视频