在过去的五年里，研究方向已从传统的机器学习（ML）和深度学习（DL）方法转向利用大语言模型（LLMs），包括多模态方法，用于数据增强，以提高泛化能力，并在训练深度卷积神经网络时防止过拟合。然而，现有的综述文章主要集中于机器学习和深度学习技术或有限的模态（如文本或图像），在涵盖LLM方法的最新进展和多模态应用方面仍存在空白。本文通过探索利用多模态LLMs进行图像、文本和语音数据增强的最新文献，填补了这一空白，提供了对这些过程的全面理解。我们概述了在基于LLM的图像、文本和语音增强中使用的各种方法，并讨论了当前方法中存在的局限性。此外，我们还从文献中识别了潜在的解决方案，以增强使用多模态LLMs进行数据增强的效果。本文为未来的研究奠定了基础，旨在改进和扩展多模态LLMs在提高深度学习应用数据集质量和多样性方面的使用。论文GitHub链接：https://github.com/WSUAgRobotics/data-aug-multi-modal-llm。
附加关键词：数据增强、大语言模型（LLMs）、生成式人工智能、图像增强、文本增强、语音增强、深度学习
1. 引言
数据增强是机器学习（ML）中的一项基础技术，通过生成现有数据样本的修改版本来增加训练数据集的大小和多样性[1, 2]。这一实践使用各种转换函数（TFs），如旋转图像或改变文字等方法，调整原始数据以产生新的变体，如图1所示。数据操作专家曾手动应用这些TFs生成新的示例，帮助更有效地训练深度学习模型。具体来说，图像旋转、Gaussian模糊、放大/缩小（图1）等TFs能够将一张来自果园的苹果图像转换成多个不同的方向，从而有效地增加针对图像处理模型的训练数据集大小。类似的文本和语音数据的TFs，如随机插入和特定的音频修改，分别扩大了自然语言处理（NLP）和音频分析应用的数据集[3, 4]。这些增强策略不仅增加了用于训练的数据量，还引入了模型可能在现实场景中遇到的各种变异，从而增强了模型的鲁棒性和泛化能力。图1a通过可视化展示了数据增强的基础实践，以旋转的苹果图像为例。
传统上，数据增强是手动执行的，但随着长短期记忆（LSTM）网络的出现，它变得更加自动化和广泛应用[5, 6]。LSTM使得在各种应用中自动生成合成数据成为可能，包括时间序列预测、自然语言处理（NLP）和人体活动识别[7]。这一转变减少了对手动数据创建的依赖，如图1b所示，图中展示了基于LSTM的数据增强的过渡过程。
基于LSTM的增强方法成为数据驱动领域的基石，直到大语言模型（LLMs）和生成式人工智能的出现。随着ChatGPT等创新的流行，LLMs开始重新定义数据增强，尤其是通过集成和自动化跨模态合成。如图1c所示，这个新时代利用多模态LLMs的上下文智能来执行数据增强。这些方法不仅超越了传统和基于LSTM的方法，还通过提供跨多种数据类型的更复杂、上下文相关的合成数据生成，进一步提升了数据增强的能力。
数据增强对于提高深度学习（DL）模型在计算机视觉、NLP和语音识别等各个领域的鲁棒性和性能至关重要。在计算机视觉中，诸如随机裁剪和翻转等技术通常用于通过促进不同方向和表达方式的泛化来防止过拟合[8]。类似地，在NLP中，同义词替换和释义重述帮助模型在多样的词汇和语言结构中实现泛化，这对于情感分析和聊天机器人等应用至关重要[2, 9]。在语音识别领域，噪声注入等策略使模型能够在噪声环境中可靠运行，通过模拟各种声学场景[10, 11]。
数据增强使模型能够在多种条件下进行训练，例如自动驾驶中的光照或医学影像中的情境，减少了对昂贵数据收集的依赖[12--15]。它还解决了类别不平衡问题，并增强了数据集的多样性，这对于需要在现实环境中实现高准确度的任务，如机器翻译和声音识别至关重要[16, 17]。数据增强通过合成增加训练数据，降低成本，加快开发，并最大化数据资源的投资回报率[2, 18]。
在现有数据增强方法的基础上，多模态LLMs的出现为该领域带来了许多变化。这些模型不仅超越了机器翻译和情感分析等传统应用，还引入了用于分类的伪数据生成和回归分析的数据集增强[19, 20]。这一转变引入了更动态和功能性的增强技术，这些技术不仅丰富了可用的方法，还加深了我们对模型训练和性能的理解[21]。
本综述的必要性
尽管已有众多关于AI研究中数据增强的综述文章探讨了各种技术，但大多数集中于传统的机器学习和深度学习方法[4--6, 8, 15, 18, 22--30]，包括基于GAN的方法[14, 31--33]。然而，这些研究通常聚焦于单一模态，如NLP或图像处理。本文旨在填补这一空白，探讨涵盖图像、文本和语音三种模态的ML和DL技术，并关注LLMs和生成式AI方法的最新进展。本文批判性地评估了过去五年中出现的多种数据增强方法。特别是，随着LLMs自2020年以来的快速发展，数据增强方法发生了重大变化。我们重点关注多模态LLMs在数据增强中的应用，特别是在生成连贯且具有上下文相关性的合成数据方面。
主要贡献
本文的主要贡献总结如下：
-
多模态和基于LLM的数据增强方法的覆盖：据我们所知，这是首篇全面涵盖机器学习研究中的三种关键模态：图像、文本和语音的综述。并且，本文深入探讨了在这些模态中，使用LLMs进行数据增强的技术方法。我们还讨论了当前基于LLM的数据增强技术在所有三种数据模态中的局限性和挑战。
-
伦理AI研究的实施：本文遵循伦理AI研究原则，确保研究过程中的透明度、公平性、问责制和诚信。我们通过精心收集文献、尊重版权法律，并设计了完全可复现的研究，保持这些标准。
-
分析、挑战与解决方案：我们分别呈现了每个模态的文献研究结果，突出了局限性和挑战，并提出了可能的解决方案，旨在推动该领域的发展。
本文结构如下：第二部分概述了方法论；第三部分简要介绍了背景，将数据增强技术分为传统方法（1990--2010）和ML/DL方法（2010--2020）；第四部分，结果与讨论，展示了图像、文本和语音模态的发现，分析了基于LLM的增强技术、其局限性以及潜在的解决方案；最后，第六部分，结论，总结了见解，讨论了未来的研究方向，并突出了LLM应用在数据增强中的演变。
2. 数据增强的背景与演进
2.1 传统数据增强方法（1990-2010）
在1990年代至2010年期间，数据增强主要依赖于手动设计的变换函数。这些方法虽然简单且计算量小，但在增强数据集规模和多样性的同时，也带来了一些局限性。例如，图像旋转和翻转可能会导致重要信息的丢失，缩放操作可能导致像素化和分辨率下降，颜色抖动可能使图像显得不自然。
2.1.1 图像数据增强
传统的图像数据增强方法主要包括几何变换（如旋转、翻转、缩放）和颜色变换（如颜色抖动、直方图均衡化）。这些方法虽然能够有效增加数据集的多样性，但在处理复杂场景时往往表现不佳，尤其是在需要保留图像细节和语义信息的任务中。
2.1.2 文本数据增强
文本数据增强的早期方法包括同义词替换、随机删除、随机插入和回译等。这些方法虽然能够增加文本的多样性，但在处理复杂的语义和上下文时往往表现不佳，容易引入不恰当的词汇或破坏文本的语法结构。
2.1.3 语音数据增强
语音数据增强的早期方法主要包括噪声注入、音高变换和时间拉伸等。这些方法虽然能够模拟不同的声学环境，但在处理复杂的语音信号时往往表现不佳，容易引入失真或过度拟合特定的噪声类型。
2.2 机器学习和深度学习驱动的数据增强（2010-2020）
随着机器学习和深度学习技术的快速发展，数据增强方法也变得更加自动化和智能化。特别是生成对抗网络（GANs）和变分自编码器（VAEs）等生成模型的引入，使得数据增强能够生成更加逼真和多样化的数据。
2.2.1 图像数据增强
在2010年至2020年期间，基于深度学习的图像数据增强方法得到了广泛应用。例如，MixUp技术通过混合图像和标签来防止过拟合，风格迁移和GANs能够生成风格各异的合成图像，从而丰富训练数据集。这些方法在医学影像、自动驾驶和农业等领域取得了显著成果。
2.2.2 文本数据增强
基于深度学习的文本数据增强方法包括n-gram重排、词嵌入替换和神经风格迁移等。这些方法能够生成更加多样化和语义一致的文本数据，从而提升自然语言处理模型的性能。
2.2.3 语音数据增强
深度学习技术的引入使得语音数据增强方法变得更加复杂和多样化。例如，噪声注入和时间拉伸等方法能够模拟不同的声学环境，从而提升语音识别系统的鲁棒性。
2.3 多模态大语言模型驱动的数据增强（2020年至今）
随着多模态大语言模型（如GPT-4、DALL-E等）的出现，数据增强技术迎来了新的变革。这些模型不仅能够处理单一模态的数据，还能够跨模态生成更加复杂和多样化的数据。例如，DALL-E能够根据文本描述生成逼真的图像，GPT-4能够生成高质量的文本数据。
3. 基于多模态大语言模型的图像数据增强
3.1 技术流程
基于多模态大语言模型的图像数据增强通常包括以下几个步骤：
图像编码：将原始图像转换为可计算的格式，通常使用视觉编码器将图像信息提取为特征向量。
提示生成：大语言模型根据编码后的图像生成文本描述，这些描述将作为后续增强步骤的指导。
增强指令生成：根据文本描述生成详细的变换指令，如图像旋转、缩放、裁剪等。
自然语言到代码转换：将生成的指令转换为可执行的代码。
代码执行：将生成的代码应用于原始图像，实现所需的增强操作。
质量评估：评估增强后的图像质量，确保其符合高质量标准。
元数据生成：记录增强操作的详细信息，便于后续分析和复现。
数据集集成：将增强后的图像和元数据集成到训练数据集中，提升模型的鲁棒性和泛化能力。
3.2 方法与技术
基于多模态大语言模型的图像数据增强方法多种多样，主要包括以下几种：
图像到文本合成：通过大语言模型生成图像的文本描述，从而增强图像的语义信息。例如，DF-GAN模型通过简化生成过程，提高了文本与图像语义的一致性。
语义内容迁移：将语义相关的对象插入到现有图像中，从而增强模型的泛化能力。例如，SemAug方法通过动态插入语义相关的对象，显著提升了对象检测模型的性能。
图像描述生成：通过大语言模型生成详细的图像描述，从而增强图像与文本的对齐。例如，FuseCap方法通过结合机器视觉和大语言模型的输出，生成了更加丰富的图像描述。
条件图像生成：根据复杂的文本和图像输入生成图像。例如，UNIMO-G模型通过多模态条件扩散框架，生成了更加详细的图像。
上下文对象插入：在图像中插入上下文相关的对象，从而增强模型的检测能力。例如，SemAug方法通过计算和插入新的对象，显著提升了模型的mAP（平均精度）。
交互式编辑：结合用户输入和大语言模型，对图像进行交互式编辑。例如，Visual Editing GPT 3.5模型通过蒸馏方法，显著提升了实时视觉编辑任务的性能。
场景补全：通过大语言模型和扩散模型生成高质量的训练图像，从而增强语义分割模型的性能。例如，Image Augmentation Agent（IAA）模型通过生成多样化的训练图像，显著提升了语义分割的准确性。
自动裁剪：通过大语言模型智能裁剪图像，突出图像的关键部分。例如，DIAGen模型通过高斯噪声和类别特定的文本提示，优化了图像的焦点。
属性生成：通过修改图像的特定属性或插入新属性，从而增加数据集的多样性。例如，DIAGen模型通过类别特定的需求增强属性，提升了分类性能。
图像增强：通过大语言模型提升图像的质量和细节，从而增强模型的性能。例如，Med-MLLM模型通过多模态大语言模型增强了放射影像的表示，提升了疾病诊断的准确性。
对抗样本生成：通过生成对抗样本，测试和提升模型的鲁棒性。例如，T2Vid模型通过生成合成的视频样本来增强视频理解能力。
多模态数据融合：通过融合文本、音频和图像等多模态信息，生成更加丰富和多样化的训练数据集。例如，MISTRA系统通过融合图像和文本数据，提升了仇恨言论检测的准确性。
语义分割增强：通过大语言模型提升语义分割的准确性。例如，Image Augmentation Agent（IAA）模型通过生成多样化的训练图像，显著提升了语义分割的准确性。
合成缺陷引入：通过大语言模型生成带有缺陷的图像，从而训练模型进行质量控制和缺陷检测。例如，DIAGen模型通过高斯噪声和类别特定的文本提示，模拟了图像中的缺陷。
时间上下文建模：通过大语言模型理解和建模图像序列中的时间动态，从而增强视频分析和活动识别任务的性能。例如，T2Vid模型通过生成合成的视频样本来增强视频理解能力。
3.3 局限性与潜在解决方案
尽管基于多模态大语言模型的图像数据增强技术取得了显著进展，但仍面临一些挑战和局限性：
模糊性和不现实的输出：由于大语言模型依赖于文本提示生成图像，如果提示不够具体，生成的图像可能会缺乏细节或与上下文不符。解决方案包括增强文本提示的细节和上下文描述，以及引入多模态训练方法。
上下文和语义错位：大语言模型在处理复杂的视觉上下文时可能会出现错位，导致生成的图像与场景不符。解决方案包括增强大语言模型的上下文感知能力，以及引入注意力机制和对比学习技术。
用户依赖性：大语言模型的输出质量高度依赖于输入提示的质量。解决方案包括引入自适应学习算法和反馈机制，以及增强自然语言理解能力。
过度专业化和动作复杂性：大语言模型在处理大规模数据集或复杂多模态输入时，计算量较大，难以实时处理。解决方案包括优化模型架构和算法，以及引入边缘计算技术。
模型完整性和对齐问题：大语言模型与现有技术框架的集成可能存在对齐问题。解决方案包括引入模块化集成策略和持续训练方法，以及实施严格的验证和测试协议。
过拟合和预测挑战：大语言模型在处理缺乏多样性的数据集时，可能会过度拟合特定模式。解决方案包括增强训练数据集的多样性，以及引入正则化技术和集成方法。
4. 基于多模态大语言模型的文本数据增强
4.1 技术流程
基于多模态大语言模型的文本数据增强通常包括以下几个步骤：
文本编码：将原始文本数据转换为机器可读的格式，通常使用分词和嵌入技术。
提示生成：大语言模型根据编码后的文本生成提示，指导后续的增强操作。
增强指令生成：根据提示生成具体的增强指令，如同义词替换、句子重述等。
自然语言到任务特定转换：将增强指令转换为任务特定的文本变换。
文本变换执行：根据生成的指令对文本进行变换，生成新的文本版本。
质量评估：评估增强后的文本质量，确保其符合语法、连贯性和任务相关性等标准。
数据集集成：将增强后的文本和元数据集成到训练数据集中，提升自然语言处理模型的性能。
4.2 方法与技术
基于多模态大语言模型的文本数据增强方法多种多样，主要包括以下几种：
同义词替换：通过替换文本中的同义词，增加文本的词汇多样性。例如，BERT-based TTEC模型通过同义词替换和对比学习，提升了假新闻检测的准确性。
回译：将文本翻译成另一种语言后再翻译回原语言，从而增加文本的句法多样性。例如，SwissADT系统通过回译技术，提升了多语言音频描述的翻译质量。
文本扩展：通过扩展现有文本，生成更加详细和丰富的文本数据。例如，LLM Mix-Up AAC模型通过混合文本描述，提升了音频字幕生成的性能。
角色扮演：通过模拟不同的角色或视角，生成多样化的文本响应。例如，LLM-Based Civic Issues Detection模型通过角色扮演，提升了社交媒体分析的准确性。
文本简化：通过简化文本的复杂性，生成更加易于理解的文本数据。例如，LLM-Based Equity Enhancement模型通过文本简化，提升了审稿人分配的准确性。
文本蕴含生成：通过生成文本蕴含对，提升自然语言理解任务的性能。例如，CEAN模型通过多模式重述，提升了事件抽取的准确性。
噪声注入：通过引入噪声（如拼写错误、语法错误等），提升模型的鲁棒性。例如，LAMBADA模型通过噪声注入，提升了情感分析的鲁棒性。
上下文变化：通过改变文本的上下文或扩展其叙述，生成多样化的文本数据。例如，LLM-Assisted DLP模型通过上下文变化，提升了中文对话解析的准确性。
控制生成：根据特定的指导或约束生成文本，确保生成的文本符合特定的风格或主题。例如，LLM-PTM模型通过控制生成，提升了患者-试验匹配的准确性。
4.3 局限性与潜在解决方案
尽管基于多模态大语言模型的文本数据增强技术取得了显著进展，但仍面临一些挑战和局限性：
上下文丢失：大语言模型在生成新样本时，可能会丢失原始文本的上下文信息。解决方案包括引入领域特定的微调策略和混合上下文训练方法。
语义漂移风险：大语言模型在生成文本时，可能会引入不恰当的词汇或语义错误。解决方案包括引入自然语言推理模型和扩展训练数据集的多样性。
冗余和真实性问题：大语言模型生成的文本可能会包含冗余信息或缺乏真实性。解决方案包括引入模型压缩技术和高级过滤机制。
过度简化风险：大语言模型生成的文本可能会过度简化，导致重要信息的丢失。解决方案包括引入多样化的训练数据和复杂的生成策略。
精度损失和逻辑不一致：大语言模型在生成文本时，可能会出现逻辑不一致或精度损失。解决方案包括引入精确的增强指令和高质量的示例数据。
过度噪声：大语言模型在生成文本时，可能会引入过多的噪声。解决方案包括引入噪声控制机制和课程学习方法。
多样性有限：大语言模型生成的文本可能缺乏足够的多样性。解决方案包括引入多样化的训练数据和混合生成方法。
5. 基于多模态大语言模型的语音数据增强
5.1 技术流程
基于多模态大语言模型的语音数据增强通常包括以下几个步骤：
音频预处理：对原始音频数据进行采样、归一化和分段处理，确保数据质量。
特征提取：将标准化后的音频转换为特征向量，通常使用MFCC（梅尔频率倒谱系数）和频谱图等技术。
传统音频增强：应用噪声注入、时间拉伸、音高变换等传统音频增强技术，增加音频数据的多样性。
多模态上下文嵌入与合成语音生成：通过多模态大语言模型生成音频的文本描述，并利用变分自编码器或生成对抗网络生成合成语音。
精炼与过滤：对生成的合成语音进行精炼和过滤，确保其符合高质量标准。
数据集集成：将增强后的音频数据集成到训练数据集中，提升语音识别系统的鲁棒性和准确性。
5.2 方法与技术
基于多模态大语言模型的语音数据增强方法多种多样，主要包括以下几种：
背景噪声添加：通过添加不同类型的背景噪声，提升语音识别系统在嘈杂环境中的性能。例如，AudiosetMix模型通过添加复杂的背景噪声，显著提升了语音识别的环境适应性。
幅度缩放：通过调整语音的音量，模拟不同的说话和听音条件。例如，ER-PTM-LLM-TTS模型通过幅度缩放，提升了情感识别的准确性。
时间拉伸：通过改变语音的播放速度，模拟不同的语速。例如，Speech De-Id NER模型通过时间拉伸，提升了语音去识别的准确性。
音高变换：通过调整语音的音高，模拟不同的说话者。例如，LLM-Assisted模型通过音高变换，提升了语音识别的多样性。
文本错误校正：通过大语言模型识别和校正语音到文本过程中的错误。例如，Speech De-Id NER模型通过文本错误校正，提升了语音去识别的准确性。
查询变换器（Q-former）：通过引入查询机制，提升语音识别系统对复杂查询的理解能力。例如，AR-GPT-4模型通过查询变换器，提升了紧急响应任务的效率。
音频混合生成：通过混合多个音频源，生成复合音频数据。例如，AudiosetMix模型通过音频混合生成，提升了语音识别的鲁棒性。
低秩适应（LoRA）：通过修改少量模型参数，高效地微调大语言模型。例如，ER-PTM-LLM-TTS模型通过低秩适应，提升了情感识别的准确性。
音频-文本对生成：通过生成匹配的音频和文本对，提升多模态大语言模型的训练效果。例如，AudiosetMix模型通过音频-文本对生成，提升了音频字幕生成的准确性。
一致集成蒸馏（CED）：通过集成多个模型的输出，提升语音识别的准确性。例如，ER-PTM-LLM-TTS模型通过一致集成蒸馏，提升了情感识别的鲁棒性。
5.3 局限性与潜在解决方案
尽管基于多模态大语言模型的语音数据增强技术取得了显著进展，但仍面临一些挑战和局限性：
时间失真：大语言模型在处理语音信号的时间动态时可能会出现失真。解决方案包括引入时间注意力机制和混合模型。
音色损失：大语言模型在处理语音信号时可能会丢失音色信息。解决方案包括引入联合建模方法和条件流匹配解码器。
特征混淆：大语言模型在处理语音信号时可能会混淆重要特征。解决方案包括引入差分隐私技术和对抗训练方法。
信号退化：大语言模型在处理语音信号时可能会导致信号质量下降。解决方案包括引入高级音频处理技术和动态范围压缩。
合成不真实：大语言模型生成的语音数据可能缺乏真实性。解决方案包括引入条件生成对抗网络和多模态训练数据。
对齐问题：大语言模型在处理语音信号时可能会出现对齐问题。解决方案包括引入音频特定的适应技术和多模态训练数据。
高计算量：大语言模型在处理大规模语音数据时，计算量较大。解决方案包括引入模型剪枝和量化技术，以及边缘计算技术。
细节丢失：大语言模型在处理语音信号时可能会丢失细节信息。解决方案包括引入高分辨率信号处理技术和多模态学习方法。
上下文限制：大语言模型在处理语音信号时可能无法准确理解上下文信息。解决方案包括引入上下文感知训练方法和情感神经网络。
6. 结论与未来展望
基于多模态大语言模型的图像、文本和语音数据增强技术在近年来取得了显著进展，显著提升了深度学习模型的性能和鲁棒性。然而，这些技术仍面临一些挑战和局限性，如模糊性、上下文错位、用户依赖性、高计算量等。未来的研究方向包括优化模型架构、引入多模态训练数据、增强上下文感知能力、以及开发更加高效的算法和硬件加速技术。
随着多模态大语言模型的不断发展，数据增强技术将在更多领域得到广泛应用，如医疗、自动驾驶、机器人等。未来的研究应重点关注如何进一步提升数据增强的质量和多样性，以及如何在实际应用中有效集成这些技术，从而推动人工智能技术的进一步发展。