MM-LLMs :多模态大语言模型综述

MM-LLMs:

Recent Advances in MultiModal Large Language Models

https://arxiv.org/pdf/2401.13601

In the past year, MultiModal Large Language Models (MM-LLMs) have undergone substantial advancements, augmenting off-the-shelf LLMs to support MM inputs or outputs via cost-effective training strategies. The resulting models not only preserve the inherent reasoning and decision-making capabilities of LLMs but also empower a diverse range of MM tasks. In this paper, we provide a comprehensive survey aimed at facilitating further research of MM-LLMs. Initially, we outline general design formulations for model architecture and training pipeline. Subsequently, we introduce a taxonomy encompassing 126 MM-LLMs, each characterized by its specific formulations. Furthermore, we review the performance of selected MM-LLMs on mainstream benchmarks and summarize key training recipes to enhance the potency of MM-LLMs. Finally, we explore promising directions for MM-LLMs while concurrently maintaining a real-time tracking website1 for the latest developments in the field. We hope that this survey contributes to the ongoing advancement of the MM-LLMs domain.

在过去一年中,多模态大型语言模型(MM-LLMs)取得了显著进展,通过成本效益高的训练策略,增强了现成的LLMs(大型语言模型),以支持多模态输入或输出。这些模型不仅保留了LLMs固有的推理和决策能力,还增强了多种多模态任务的处理能力。本文旨在通过全面综述,促进MM-LLMs领域的进一步研究。

首先,本文概述了模型架构和训练流程的一般设计公式。

随后,本文引入了一个包含126个MM-LLMs的分类体系,每个模型都有其特定的设计公式。

此外,本文还回顾了部分MM-LLMs在主流基准测试中的表现,并总结了增强MM-LLMs效能的关键训练策略。

最后,本文在探索MM-LLMs未来发展方向的同时,还维护了一个实时跟踪网站1,以关注该领域的最新进展。我们希望本次综述能为MM-LLMs领域的持续发展做出贡献。

相关推荐
DeepSeek-大模型系统教程5 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
小雷FansUnion7 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
静心问道13 小时前
STEP-BACK PROMPTING:退一步:通过抽象在大型语言模型中唤起推理能力
人工智能·语言模型·大模型
FF-Studio16 小时前
【硬核数学】3. AI如何应对不确定性?概率论为模型注入“灵魂”《从零构建机器学习、深度学习到LLM的数学认知》
大数据·人工智能·深度学习·机器学习·数学建模·自然语言处理·概率论
MO2T17 小时前
使用 Flask 构建基于 Dify 的企业资金投向与客户分类评估系统
后端·python·语言模型·flask
羊小猪~~18 小时前
【NLP入门系列四】评论文本分类入门案例
人工智能·自然语言处理·分类
静心问道19 小时前
APE:大语言模型具有人类水平的提示工程能力
人工智能·算法·语言模型·大模型
cooldream200920 小时前
华为云Flexus+DeepSeek征文|利用华为云一键部署 Dify 平台并接入 DeepSeek 大模型,构建长篇文章生成助手
大模型·华为云·dify
香宝的最强后援XD1 天前
Cursor无限邮箱续费方法
语言模型·chatgpt·文心一言