多模态rag

27届大模型面试准备（五十五）多模态 RAG 工程实战——从跨模态检索到 4MRAG 线上化上一篇 A53 把多模态大模型的「推理服务化」拆透了：ViT 解耦部署、跨模态 KV Cache 复用、图像 token 压缩。A54 接着把「成本与吞吐」算到三本账。两篇都在回答「模型怎么跑得快、跑得省」。本篇往前一步，回答「模型的输入从哪来、检索链路怎么工程化落地」——也就是多模态 RAG（Retrieval-Augmented Generation）。

【多模态RAG】Purifying Multimodal Retrieval【多模态RAG进展】打的点一个去噪工作。是现有 MRAG 框架均采用文档级检索与重排，默认文档内所有内容同等有效，但是检索文档含大量无关、冗余、矛盾噪声，引发 MLLM 幻觉，图像仅小区域感兴趣（ROI）有用，文本仅少量句子相关。所以，搞了个Retrieve–Rerank–Select–Generate四阶段 pipeline，新增片段级筛选模块净化证据，目标是在量化证据的边际效用，从而能够过滤掉通常会损害下游推理的无关、冗余或矛盾噪声，工作在《Purifying Multimodal Retrieval

我是有底线的