Fusion Anything Model:
面向通用多模态融合的基础模型
论文名称：Fusion Anything： A Generalized Multimodal Foundation Model | 面向通用多模态融合的基础模型
作者信息：Huizi Cui1,†, Zongbo Han2,†,‡, Chenggong Ding1, Naichuan Xiao1, Jialong Yang1 Jingdong Chen1, Yafei Yang1, Guangyu Wang2, Qinghua Hu1, Changqing Zhang1,∗
研究单位：1天津大学；2北京邮电大学
论文链接：
https://arxiv.org/abs/2609.22107
任意模态+任意任务：合成数据中学习模态关联，上下文样本适应真实任务
多模态模型能否摆脱固定模态组合与单一任务的限制，在面对新的数据和预测目标时无需重新训练模型？在自天津大学与北京邮电大学合作研究中，提出了Fusion Anything Model （FAM）- 训练阶段通过大规模合成多模态数据集学习可迁移的关联模式，推理阶段直接利用真实任务中的带标签样本作为上下文进行新任务适配。
论文在 20+ 个真实世界数据集上（覆盖 12 种模态）开展评估。结果表明，FAM在无需针对任务进行参数更新的情况下，能够取得与最佳专用模型效果相当甚至更优的表现。
从专用到通用
现有融合模型往往围绕固定模态组合和特定识别/预测任务训练。当输入模态或任务发生变化时，已有模型无法直接复用。FAM致力于训练一个多模态融合基础模型，实现面向任意模态组合、任意识别任务的通用能力。
实现通用多模态融合面临两个难题。一是多模态训练数据难以充分覆盖多样的模态组合与关联模式，相比于视觉-文本，真实应用中的多模态数据收集也更为困难。现有多模态数据集主要集中于少数常见模态组合，其他模态的数据则受限于领域特定的采集条件与访问权限。同时，跨领域数据的采集、标注和对齐成本较高，难以构建兼具规模与多样性的训练数据，无法支撑统一模型学习可迁移的多模态关联。二是现有模型难以适应未见的模态组合与预测任务，通常围绕预设模态和特定任务设计，模型架构与应用场景紧密绑定，限制了已学关联模式向新任务的迁移。因此，如何设计统一架构使其能够将预训练知识用于新模态组合与新预测任务，是算法层面难题。
FAM 的出发点是：通用融合模型应当学习（预训练）大量模态融合模式，而不只是拟合某一数据集的融合策略。因此，FAM通过解决上述难题，实现了通用融合功能，具体如下：
（1）合成数据驱动的训练范式：通过结构多模态因果模型（Structural Multimodal Causal Models: SMCMs）构建具有不同关联模式的合成任务，为通用融合提供规模化、多样化的训练来源；
（2）支持上下文学习的统一模型：将异构模态表示投影到统一 token 空间，利用带标签的上下文样本适应新的预测任务；
（3）跨领域的真实数据验证：在多种模态组合与应用任务上检验从合成任务到真实数据的迁移效果，并与专用融合方法进行对比。
生成多模态数据集
如何生成具有足够丰富的关联模式的多模态数据？因为定义多模态之间的关联种类极其困难，FAM 转而采取了一种"道法自然"的方式。具体来讲，因为真实多模态数据通常来自不同传感器（或者人）对同一对象的观测，如图1（a）所示，模态之间的关联也由这一共同来源产生 1。受此启发，论文提出结构多模态因果模型（Structural Multimodal Causal Models，SMCMs），从共同的潜在表示出发，通过不同生成机制构造多个模态的特征表示，如图1（b）所示，为训练基础模型提供可规模化生成的多模态数据。
为了控制模态之间的信息共享方式，SMCMs 引入由共享节点和私有节点组成的关联控制模块（CCM ），如图1（c）所示。共享节点将选定的潜在信息传递给多个模态，私有节点则只向对应模态提供特有信息。同时，根表示被划分为与标签相关和无关的部分，使数据生成过程能够调节预测所需信息与其他变化的分布。通过改变节点配置、连接关系和生成机制，SMCMs可以构造不同模态组合与关联结构的合成数据集，使模型在训练中接触更加多样的多模态预测问题。这不仅是增加训练规模，更是扩展关联模式的覆盖范围。
图 1 多模态数据生成过程
模型训练与推理
如图2（a）所示，在训练阶段，每个合成多模态数据集被视为一个独立任务，并划分为带标签的上下文集与查询集。模型根据上下文预测查询标签，在约 20万个合成任务上优化，学习适用于不同关联结构的预测模式。FAM 基于预训练TabPFN 2 骨干构建，通过低秩适应（LoRA）更新骨干，同时训练模态投影器与预测器，其余预训练参数保持冻结。
图 2 FAM的训练与推理流程
如图2（b）所示，在推理阶段，真实数据首先经过预训练模态编码器得到特征表示，再被映射到统一的 token 空间。FAM联合建模特征间、模态间和样本间三层注意力，其中，特征间注意力提取各模态内部的信息，模态间注意力整合不同模态的联合信息，样本间注意力则支持查询（测试）样本利用带标签的上下文完成预测，为待预测样本输出标签，整个过程无需进行任务特定优化或更新模型参数。
FAM 的训练与推理均利用多模态上下文学习机制：模型在合成任务中学习如何利用带标签的上下文样本预测查询样本，并在推理时将这一能力应用于真实任务。因此，FAM通过上下文样本提供的信息适应新任务，无需针对每个下游数据集单独微调。
实验验证通用能力
实验覆盖多媒体分析、情感计算、视觉理解、多模态医学和遥感等领域，下图展示部分数据集的结果。对比方法涵盖早期、中期和后期融合三类七种代表性专用模型。在18个数据集上FAM 的平均ACC 相比专用融合方法的平均水平提高6.92% 。不同专用方法的排名随数据集变化，而FAM在大多数评估场景中保持了较强的竞争力。
图 3 FAM 相对专用融合方法平均水平的 ACC 提升
图 4 FAM 和专用融合方法在不同数据集上的性能排名
对于类别不平衡的数据集，论文报告FAM 在改善整体准确率的同时，也提升了少数类的预测表现，ForestNet 和NYUDv2 是其中的代表。在中小规模数据集上，FAM 同样表现出较好的适用性，例如在GAMMA 和MultiOFF上，其准确率超过了全部对比的专用融合方法。
总结与展望
Fusion Anything 提出了面向通用多模态预测的训练新范式：通过具有多样因果结构的大规模合成数据集，使得模型学习到跨模态组合与任务迁移的关联模式，再借助真实任务的上下文样本完成预测。SMCMs 为训练提供可控、多样的数据来源，统一模型则通过多模态上下文学习，将合成任务中获得的能力应用于真实场景。广泛的实验表明，FAM在无需参数更新情况下，能够取得与最优专用融合模型相当或更优的表现。未来，将有望在具身智能、多模态医疗、AI4Science等领域发挥其优势。
往期推荐
