多模态RAG综述
简介:《Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-AugmentedGeneration》
多模态RAG步骤: 查询预处理、多模态数据库、检索策略(模态为中心)、融合机制、增强技术、生成阶段、训练策略。
更多AI大模型学习视频及资源，都在智泊AI。
3.融合机制
融合机制的目标是将来自不同模态的数据整合到统一的表示中，以支持跨模态推理。主要方法包括:
分数融合与对齐: 通过将不同模态的数据转换为统一格式(如文本)或嵌入到共享语义空间中，实现模态间的对齐。例如，使用CLIP Score或BLIP特征融合来衡量图像和文本的相关性。
基于注意力的机制: 动态加权跨模态交互，支持特定任务的推理。例如，双流共注意力机制(如RAMM)和基于用户注意力的特征融合(如RAGTrans)。
统一框架和投影: 将多模态输入整合为连贯的表示。例如，通过层次化交叉链和晚期融合处理医疗数据(如IRAMIG)，或通过将图像转换为文本描述以简化多模态输入(如SAM-RAG)。
4.增强技术
增强技术通过优化检索到的文档，提升多模态RAG系统的性能。主要方法包括
上下文丰富化: 通过添加额外的上下文元素(如文本片段、图像标记或结构化数据)来增强检索到的知识，使其更适合生成任务。例如，通过实体检索和查询重构来优化视觉问答(如MiRAG)。
自适应和迭代检索: 根据查询的复杂性动态调整检索过程。例如，通过多轮检索策略逐步细化检索结果(如OMG-QA)，或通过反馈机制优化检索内容(如IRAMIG)。
5.生成方法
生成方法关注于提升多模态RAG系统的输出质量和连贯性。主要创新包括:
上下文学习(In-Context Learning): 利用检索到的内容作为少样本示例，增强模型的推理能力。例如，通过检索相关驾驶经验来优化生成(如RAG-Driver)。
推理(Reasoning): 通过分解复杂推理任务为多个小步骤(如链式推理)，提升生成内容的逻辑性和准确性。例如，通过多跳推理和证据整合来支持复杂问答(如RAGAR)。
指令调整(instruction Tuning): 针对特定任务调整生成模块，提升模型对指令的理解和执行能力。例如通过指令调整优化医学图像报告生成(如FactMM-RAG)
来源归因(Source Attribution): 确保生成内容能够追溯到具体的来源，提升系统的透明度和可信度。例如，通过高亮显示支持证据的图像区域来归因(如VISA)。
6.训练策略
训练策略旨在优化多模态RAG系统的训练过程，提升模型的泛化能力和鲁棒性。主要方法包括：
对齐(Alignment): 通过对比学习(如InfONCE损失)优化多模态表示的对齐，确保正样本更接近、负样本更远离。
生成(Generation): 使用交叉熵损失训练自回归语言模型，或通过生成对抗网络(GAN)和扩散模型优化图像生成。
鲁棒性增强(Robustness): 通过注入噪声、使用硬负样本或知识蒸馏等方法，提升模型对噪声和错误数据的鲁棒性。例如，通过Query Dropout增强生成器性能(如RA-CM3)
多模态RAG
OmniSearch
简介: OmniSearch 是阿里巴巴通义实验室推出的一款多模态检索增强生成框架，具备自适应规划能力。
OmniSearch 能够动态拆解复杂问题，根据检索结果和问题情境调整检索策略，模拟人类在解决复杂问题时的行为方式，从而提升检索效率和准确性。
慕尼黑大学-多模态RAG
简介:《Beyond Text: Optimizing RAG with Multimodal Inputs for Industrial Applications》
更多AI大模型学习视频及资源，都在智泊AI。