近年来，机器学习领域在从图像识别到自然语言处理的不同问题类型上取得了显着进展。然而，这些模型中的大多数都对来自单一模态的数据进行操作，例如图像、文本或语音。相比之下，现实世界的数据通常来自多种模态，例如图像和文本、视频和音频或来自多个来源的传感器数据。
为了应对这一挑战，研究人员开发了多模态机器学习模型，可以处理来自多种模态的数据，为智能系统释放新的可能性。
在这篇博文中，我们将探讨多模态机器学习的挑战和机遇，并讨论用于应对多模态计算机视觉挑战的不同架构和技术。
什么是多模态深度学习？
多模态深度学习是深度学习的一个子集，用于处理来自多种模态的数据的融合和分析，例如文本、图像、视频、音频和传感器数据。多模态深度学习结合了不同模态的优势，创建更完整的数据表示，从而在各种机器学习任务上获得更好的性能。
传统上，机器学习模型被设计为处理来自单一模态的数据，例如图像分类或语音识别。然而，在现实世界中，数据通常来自多个来源和模式，这使得数据变得更加复杂且难以分析。多模态深度学习旨在通过整合来自不同模态的信息来生成更准确、信息更丰富的模型，从而克服这一挑战。
多模态深度学习的目标是什么？
多模态深度学习的主要目标是创建一个共享表示空间，可以有效地捕获来自不同模态的互补信息。然后，这种共享表示可用于执行各种任务，例如图像caption、语音识别和自然语言处理。
多模态深度学习模型通常由多个神经网络组成，每个神经网络专门分析特定的模态。然后使用各种融合技术（例如早期融合、后期融合或混合融合）组合这些网络的输出，以创建数据的联合表示。
早期融合涉及将来自不同模态的原始数据连接成单个输入向量并将其馈送到网络。另一方面，后期融合涉及为每种模态训练单独的网络，然后在稍后阶段组合它们的输出。混合融合结合了早期融合和后期融合的元素，创建了一个更灵活、适应性更强的模型。
多模态学习如何运作？
多模态深度学习模型通常由多个单模态神经网络组成，这些神经网络分别处理每个输入模态。例如，视听模型可能有两个单模态网络，一个用于音频，另一个用于视觉数据。这种对每种模态的单独处理称为编码。
一旦完成单模态编码，就必须集成或融合从每种模态提取的信息。有几种可用的融合技术，从简单的串联到注意机制。多模态数据融合是这些模型成功的关键因素。最后，"决策"网络接受融合的编码信息并针对手头的任务进行训练。
一般来说，多模式架构由三部分组成：
- 单模态编码器对各个模态进行编码。通常，每种输入模式对应一个。
- 一种融合网络，在编码阶段结合从每种输入模态提取的特征。
- 接受融合数据并进行预测的分类器。
下图展示了一般的多模态工作流程。它涉及多个单模态神经网络（本例中为三个）来独立编码各种输入模态。然后使用融合模块组合提取的特征。最后，将融合的特征输入分类网络进行预测。
编码阶段
编码器从每种模态的输入数据中提取特征，并将其转换为可由模型中的后续层处理的通用表示。编码器通常由多层神经网络组成，这些神经网络使用非线性变换从输入数据中提取越来越抽象的特征。
编码器的输入可以包含来自多种模态的数据，例如图像、音频和文本，这些数据通常是单独处理的。每种模态都有自己的编码器，将输入数据转换为一组特征向量。然后，每个编码器的输出被组合成单个表示，该表示捕获来自每种模态的相关信息。
组合各个编码器的输出的一种流行方法是将它们连接成单个向量。另一种方法是使用注意力机制根据每种模式与当前任务的相关性来权衡每种模式的贡献。
编码器的总体目标是捕获来自多种模态的输入数据之间的底层结构和关系，使模型能够做出更准确的预测或基于这种多模态输入生成新的输出。
融合模块
融合模块将来自不同模态（例如文本、图像、音频）的信息组合成可用于下游任务（例如分类、回归或生成）的单个表示。根据特定的架构和手头的任务，融合模块可以采取各种形式。
一种常见的方法是使用模态特征的加权和，其中权重是在训练期间学习的。另一种方法是连接模态的特征并将它们通过神经网络传递以学习联合表示。在某些情况下，注意力机制可用于学习在每个时间步骤应关注哪种模式。
无论具体实现如何，融合模块的目标是捕获来自不同模态的补充信息，并为下游任务创建更强大、信息更丰富的表示。这在视频分析等应用中尤其重要，其中视觉和音频提示的结合可以极大地提高性能。
分类
分类模块采用融合模块生成的联合表示，并用它来做出预测或决策。分类模块中使用的具体架构和方法可能会根据任务和正在处理的数据类型而有所不同。
在许多情况下，分类模块采用神经网络的形式，其中联合表示在做出最终预测之前通过一个或多个全连接层。这些层可以包括非线性激活函数、dropout 和其他技术，以帮助防止过度拟合并提高泛化性能。
分类模块的输出取决于手头的具体任务。例如，在多模态情感分析任务中，输出将是一个二元决策，指示文本和图像输入是正面还是负面。在多模态图像caption任务中，输出可能是描述图像内容的句子。
分类模块通常使用监督学习方法进行训练，其中输入模态及其相应的标签或目标用于优化模型的参数。这种优化通常使用基于梯度的优化方法来完成，例如随机梯度下降或其变体。
综上所述，分类模块通过采用融合模块生成的联合表示并使用它来做出明智的决策或预测，在多模态深度学习中发挥着关键作用。
计算机视觉中的多模态学习
近年来，多模态学习通过结合图像、文本和语音等多种模态的信息，成为解决复杂计算机视觉任务的一种有前途的方法。
这种方法在多个领域取得了重大进展，包括：
- 视觉问答；
- 文本到图像的生成；
- 用于视觉推理的自然语言。
在本节中，我们将探讨多模态学习模型如何彻底改变计算机视觉，并使其能够在以前看似不可能的挑战性任务中取得令人印象深刻的结果。具体来说，我们将深入研究计算机视觉领域中多模态架构的三种流行用途的工作原理：视觉问答（VQA）、文本到图像生成和视觉推理自然语言（NLVR）。
视觉问答 (VQA)
视觉问答 (VQA) 涉及使用自然语言回答基于视觉输入（例如图像或视频）的问题。VQA 是一项具有挑战性的任务，需要对计算机视觉和自然语言处理有深入的了解。
近年来，由于深度学习技术和架构，特别是Transformer 架构的使用，VQA 取得了重大进展。Transformer 架构最初是为了语言处理任务而引入的，并在 VQA 中取得了巨大的成功。
VQA 最成功的模型之一是Google Research 在 2022 年开发的PaLI（Pathways Language and Image model）模型。PaLI 架构采用编码器-解码器 Transformer 模型，带有大容量 ViT 组件用于图像处理。下图展示了PaLI模型架构。
文本到图像的生成
在文本到图像生成过程中，机器学习模型经过训练以根据文本描述生成图像。目标是创建一个能够理解自然语言并利用这种理解来生成准确表示输入文本含义的视觉内容的系统。两个最新且成功的文生图模型是DALL-E和Stable Diffusion。
DALL-E 是 OpenAI 开发的文本到图像生成模型，它结合了基于 Transformer 的语言模型和生成神经网络架构。该模型接受文本描述并生成满足描述的图像。DALL-E 可以生成各种复杂且富有创意的图像，例如用竖琴制成的蜗牛和雏菊田中红树袋鼠的拼贴画。
DALL-E 的关键创新之一是使用离散潜在空间，这使得模型能够学习生成图像的更加结构化和可控的表示。DALL-E 在大型图像-文本对数据集上进行训练，并使用称为 Gumbel-Softmax 技巧的 VAE 损失函数变体来优化模型。
Stable Diffusion架构是一种基于文本提示生成高质量图像的最新技术。Stable Diffusion使用扩散过程，该过程涉及迭代地向初始图像添加噪声，然后逐步消除噪声。
通过控制噪声水平和迭代次数，稳定扩散可以生成与输入文本提示相匹配的多样化且高质量的图像。
SD的关键创新是使用扩散过程，可以生成稳定且多样化的图像。此外，扩散使用对比损失函数来鼓励生成的图像多样化且彼此不同。Diffusion 在文本到图像的生成方面取得了令人印象深刻的成果，它可以生成与输入文本提示紧密匹配的高质量图像。
视觉推理自然语言 (NLVR)
视觉推理自然语言（Natural Language for Visual Reasoning，NLVR）旨在评估模型理解和推理视觉场景自然语言描述的能力。在此任务中，为模型提供场景的文本描述和两张相应的图像，其中一张与描述一致，另一张则不一致。该模型的目标是识别与给定文本描述相匹配的正确图像。
NLVR 要求模型理解复杂的语言结构并推理视觉信息以做出正确的决策。该任务涉及多种挑战，例如理解空间关系、识别物体及其属性以及理解自然语言的语义。
BEiT-3达到了 NLVR 任务的当前最先进水平。它是一个基于 Transformer 的模型，已在大规模自然图像和文本数据集（例如 ImageNet 和 Conceptual Captions）上进行了预训练。下图展示了用于 NLVR 任务的 BEiT-3 架构。
BEiT-3 旨在处理自然语言和视觉信息，能够推理复杂的语言结构和视觉场景。
BEiT-3 的架构与其他基于 Transformer 的模型（例如 BERT 和 GPT）类似，但进行了一些修改以处理视觉数据。该模型由编码器和解码器组成，编码器接收视觉和文本输入，解码器产生输出。
构建多模态模型架构的挑战
多模态深度学习彻底改变了我们处理复杂数据分析任务（例如图像和语音识别）的方式。然而，处理来自多种模式的数据带来了独特的挑战，必须解决这些挑战才能实现最佳性能。
在本节中，我们将讨论与多模态深度学习相关的一些关键挑战。
对齐（Alignment）
对齐是确保来自不同模式的数据在时间、空间或任何其他相关维度上同步或对齐的过程。模态之间缺乏一致性可能会导致表示不一致或不完整，从而对模型的性能产生负面影响。
在不同时间或从不同来源获取模式的情况下，对齐可能特别具有挑战性。对齐是一个难以解决的挑战的一个典型例子是视频分析。由于数据采集过程引入的延迟，将音频与视觉信息对齐可能具有挑战性。同样，在语音识别中，由于语速、口音和背景噪音的变化，将音频与相应的转录对齐可能很困难。
已经提出了几种技术来解决多模态机器学习模型中的对齐挑战。例如，时间对齐方法可用于通过估计模态之间的时间偏移来及时对齐数据。空间对齐方法可用于通过识别不同模态的对应点或特征来对齐空间中的数据。
此外，深度学习技术（例如注意力机制）可用于在模型训练过程中自动对齐数据。然而，每种对齐技术都有其优点和局限性，对齐方法的选择取决于具体问题和数据的特征。
协同学习（Co-learning）
协同学习涉及从多种模态联合学习以提高模型的性能。在协同学习中，模型从不同模态之间的相关性和依赖关系中学习，这可以使基础数据的表示更加稳健和准确。
协同学习需要设计能够处理来自不同模态的数据的异质性和可变性的模型，同时还可以识别可以跨模态共享的相关信息。这很有挑战性。此外，协同学习可能会导致负迁移问题，即从一种模态学习会对模型在另一种模态上的性能产生负面影响。
为了解决多模态机器学习模型中的协同学习挑战，人们提出了几种技术。一种方法是使用联合表示学习方法，例如深度规范相关分析（DCCA）或跨模态深度度量学习（CDML），其目的是学习捕获模态之间相关性的共享表示。另一种方法是使用注意力机制，可以将模型的资源动态分配给信息最丰富的模态或特征。
协同学习仍然是多模态机器学习的一个活跃的研究领域，有许多开放性问题和挑战需要解决，例如如何处理缺失的模态或如何将先验知识纳入学习过程。
翻译
翻译涉及将数据从一种模态或语言转换为另一种模态或语言。例如，将语音翻译为文本、文本翻译为语音或图像翻译为文本。
需要翻译的多模态机器学习模型必须考虑源语言或目标语言或模态之间的结构、语法和语义差异。此外，它们必须能够处理输入数据的可变性，例如不同的口音或方言，并适应输入的上下文。
有多种方法可以解决多模态机器学习模型中的翻译挑战。一种常见的方法是使用神经机器翻译 (NMT) 模型，该模型在将文本从一种语言翻译为另一种语言方面取得了巨大成功。NMT 模型还可以通过对音频-文本配对数据进行训练，将语音翻译为文本，反之亦然。另一种方法是使用多模态模型，该模型可以学习将数据从一种模态映射到另一种模态，例如图像到文本或语音到文本的翻译。
然而，模态或语言之间的翻译是一项具有挑战性的任务。翻译模型的性能在很大程度上取决于训练数据的质量和大小、任务的复杂性以及计算资源的可用性。
融合
融合涉及组合来自不同模式的信息以做出决策或预测。数据融合有多种方式，包括早期融合、后期融合和混合融合。
早期融合涉及在输入级别组合来自不同模态的原始数据。这种方法需要对齐和预处理数据，由于数据格式、分辨率和大小的差异，这可能具有挑战性。
另一方面，后期融合涉及单独处理每种模态，然后在稍后阶段组合输出。这种方法对于数据格式和模态的差异更加稳健，但也可能导致重要信息的丢失。
混合融合是早期融合方法和晚期融合方法的组合，其中一些模态在输入级别融合，而另一些模态在后期阶段融合。
选择合适的融合方法对于多模态机器学习模型的成功至关重要。融合方法必须针对具体问题和数据特征进行定制。此外，融合方法的设计必须能够保留每种模态最相关的信息，并避免引入噪声或不相关信息。
结论
多模态深度学习是一个令人兴奋且快速发展的领域，对于推进计算机视觉和人工智能的其他领域具有巨大的潜力。
通过整合视觉、文本和听觉信息等多种模态，多模态学习使机器能够以曾经只有人类才能实现的方式感知和解释周围的世界。
在这篇文章中，我们重点介绍了多模态学习在计算机视觉中的三个关键应用：视觉问答、文本到图像生成和自然语言视觉推理。
尽管多模态学习存在一些挑战，包括需要大量训练数据以及融合多种模态信息的困难，但深度学习模型的最新进展已经导致一系列任务的性能显着提高。