BRIDGE：多模态查询的强化学习对齐与文本检索重构

本系列基于 Mounis et al. (2026), BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment (arXiv:2604.07201)。所有实验数据、架构设计与消融结论均引用自该工作，叙述方式按工程直觉范式重新编排。

第1章多模态检索的反直觉困境：查询即瓶颈

1.1 破冰：为什么多模态检索反而输给纯文本？

想象这样一个场景：你向一个只读文本的图书馆管理员求助。第一位顾客递上一张纸条，上面写着"Apache2 端口冲突导致服务启动失败"，管理员秒懂，精准递出《Ubuntu 服务器排错指南》。第二位顾客不仅说了"为什么我的服务总是崩溃"，还附带了一张终端报错截图------信息量显然更大，但管理员却递来了《计算机入门》和《情绪管理》。

这第二位顾客的遭遇，正是当前多模态检索系统的真实写照。在 MM-BRIGHT 基准的 29 个技术领域中，最好的纯文本检索器能拿到 32.2 的 nDCG@10，而最好的视觉-语言编码器（Nomic-Vision）只有 27.6。更讽刺的是，所有基于多模态编码器的系统全部低于 28 分，包括 GME-7B（22.0）、Jina-CLIP（23.0）、SigLIP（10.8）------它们明明能"看懂"图像，却输给了只能读文字的检索器。

我们直觉上认为，多模态检索失败是因为视觉理解不够强。于是业界不断堆叠更大的编码器、更多的对比学习数据、更复杂的跨模态融合架构。但 BRIDGE 的作者提出了一个反直觉的重新框定：瓶颈不在检索器的容量，而在查询本身的表示质量。当用户把一张终端报错截图和一句口语化的"在线等急"打包发给系统时，查询嵌入被对话噪声主导，视觉信号被淹没在闲聊的向量空间中。无论编码器多大，它接收的输入已经失真了。
#mermaid-svg-osoFka9iiGlR95pQ{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-osoFka9iiGlR95pQ .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-osoFka9iiGlR95pQ .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-osoFka9iiGlR95pQ .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-osoFka9iiGlR95pQ .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-osoFka9iiGlR95pQ .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-osoFka9iiGlR95pQ .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-osoFka9iiGlR95pQ .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-osoFka9iiGlR95pQ .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-osoFka9iiGlR95pQ .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-osoFka9iiGlR95pQ .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-osoFka9iiGlR95pQ .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-osoFka9iiGlR95pQ .marker.cross{stroke:#0b0b0b;}#mermaid-svg-osoFka9iiGlR95pQ svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-osoFka9iiGlR95pQ p{margin:0;}#mermaid-svg-osoFka9iiGlR95pQ .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-osoFka9iiGlR95pQ .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-osoFka9iiGlR95pQ .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-osoFka9iiGlR95pQ .cluster-label span p{background-color:transparent;}#mermaid-svg-osoFka9iiGlR95pQ .label text,#mermaid-svg-osoFka9iiGlR95pQ span{fill:#333;color:#333;}#mermaid-svg-osoFka9iiGlR95pQ .node rect,#mermaid-svg-osoFka9iiGlR95pQ .node circle,#mermaid-svg-osoFka9iiGlR95pQ .node ellipse,#mermaid-svg-osoFka9iiGlR95pQ .node polygon,#mermaid-svg-osoFka9iiGlR95pQ .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-osoFka9iiGlR95pQ .rough-node .label text,#mermaid-svg-osoFka9iiGlR95pQ .node .label text,#mermaid-svg-osoFka9iiGlR95pQ .image-shape .label,#mermaid-svg-osoFka9iiGlR95pQ .icon-shape .label{text-anchor:middle;}#mermaid-svg-osoFka9iiGlR95pQ .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-osoFka9iiGlR95pQ .rough-node .label,#mermaid-svg-osoFka9iiGlR95pQ .node .label,#mermaid-svg-osoFka9iiGlR95pQ .image-shape .label,#mermaid-svg-osoFka9iiGlR95pQ .icon-shape .label{text-align:center;}#mermaid-svg-osoFka9iiGlR95pQ .node.clickable{cursor:pointer;}#mermaid-svg-osoFka9iiGlR95pQ .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-osoFka9iiGlR95pQ .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-osoFka9iiGlR95pQ .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-osoFka9iiGlR95pQ .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-osoFka9iiGlR95pQ .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-osoFka9iiGlR95pQ .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-osoFka9iiGlR95pQ .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-osoFka9iiGlR95pQ .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-osoFka9iiGlR95pQ .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-osoFka9iiGlR95pQ .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-osoFka9iiGlR95pQ .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-osoFka9iiGlR95pQ div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-osoFka9iiGlR95pQ .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-osoFka9iiGlR95pQ rect.text{fill:none;stroke-width:0;}#mermaid-svg-osoFka9iiGlR95pQ .icon-shape,#mermaid-svg-osoFka9iiGlR95pQ .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-osoFka9iiGlR95pQ .icon-shape p,#mermaid-svg-osoFka9iiGlR95pQ .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-osoFka9iiGlR95pQ .icon-shape rect,#mermaid-svg-osoFka9iiGlR95pQ .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-osoFka9iiGlR95pQ .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-osoFka9iiGlR95pQ .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-osoFka9iiGlR95pQ :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 多模态查询
视觉描述
对话噪声
检索意图
嵌入空间
噪声主导
检索失败
意图被淹没
纯文本查询
意图清晰
检索成功

图1-1 多模态检索的隐性退化链。 红色为查询根因与终果，橙色为噪声中间态，紫色为性能侵蚀节点。多模态查询将视觉、对话、意图三重信号纠缠在同一嵌入中，对话噪声的向量权重往往压倒检索意图，导致系统性地输给纯文本查询。

这个困境的核心在于：我们假设"信息越多，检索越准"，但密集检索器对输入长度和噪声高度敏感。当查询从单一文本变成图文混合时，嵌入质量不是线性提升，而是非线性崩塌。这不是视觉理解的问题，而是查询工程的问题。

认知检查点：多模态检索的落后不是视觉编码器的缺陷，而是查询表示的纠缠------对话噪声在嵌入空间中系统性压倒检索意图，导致信息量增加反而降低检索精度。

1.2 建图：BRIDGE 系统的全局认知

如果瓶颈是查询，那么解决方案就不该在编码器侧继续堆参数，而应该在查询侧做"净化"。BRIDGE 的核心设计哲学是：把多模态查询翻译成检索器能理解的"干净语言"，而不是让检索器去适应嘈杂的多模态输入。

系统由两个组件构成。FORGE（Focused Retrieval Query Generator）是一个查询对齐模型，它接收原始多模态查询（文本问题 + 图像描述），通过强化学习训练，输出一个紧凑、检索优化的搜索字符串。LENS（Language-Enhanced Neural Search）是一个推理增强的密集检索器，专门处理 FORGE 产生的意图丰富查询。关键在于：一旦 FORGE 完成对齐，整个检索流程完全在文本模态中运行，无需任何多模态编码器。
#mermaid-svg-XGHFSdYdiOKavtkz{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-XGHFSdYdiOKavtkz .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-XGHFSdYdiOKavtkz .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-XGHFSdYdiOKavtkz .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-XGHFSdYdiOKavtkz .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XGHFSdYdiOKavtkz .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-XGHFSdYdiOKavtkz .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-XGHFSdYdiOKavtkz .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-XGHFSdYdiOKavtkz .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-XGHFSdYdiOKavtkz .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-XGHFSdYdiOKavtkz .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-XGHFSdYdiOKavtkz .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-XGHFSdYdiOKavtkz .marker.cross{stroke:#0b0b0b;}#mermaid-svg-XGHFSdYdiOKavtkz svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-XGHFSdYdiOKavtkz p{margin:0;}#mermaid-svg-XGHFSdYdiOKavtkz .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-XGHFSdYdiOKavtkz .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XGHFSdYdiOKavtkz .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XGHFSdYdiOKavtkz .cluster-label span p{background-color:transparent;}#mermaid-svg-XGHFSdYdiOKavtkz .label text,#mermaid-svg-XGHFSdYdiOKavtkz span{fill:#333;color:#333;}#mermaid-svg-XGHFSdYdiOKavtkz .node rect,#mermaid-svg-XGHFSdYdiOKavtkz .node circle,#mermaid-svg-XGHFSdYdiOKavtkz .node ellipse,#mermaid-svg-XGHFSdYdiOKavtkz .node polygon,#mermaid-svg-XGHFSdYdiOKavtkz .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-XGHFSdYdiOKavtkz .rough-node .label text,#mermaid-svg-XGHFSdYdiOKavtkz .node .label text,#mermaid-svg-XGHFSdYdiOKavtkz .image-shape .label,#mermaid-svg-XGHFSdYdiOKavtkz .icon-shape .label{text-anchor:middle;}#mermaid-svg-XGHFSdYdiOKavtkz .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-XGHFSdYdiOKavtkz .rough-node .label,#mermaid-svg-XGHFSdYdiOKavtkz .node .label,#mermaid-svg-XGHFSdYdiOKavtkz .image-shape .label,#mermaid-svg-XGHFSdYdiOKavtkz .icon-shape .label{text-align:center;}#mermaid-svg-XGHFSdYdiOKavtkz .node.clickable{cursor:pointer;}#mermaid-svg-XGHFSdYdiOKavtkz .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-XGHFSdYdiOKavtkz .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-XGHFSdYdiOKavtkz .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-XGHFSdYdiOKavtkz .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-XGHFSdYdiOKavtkz .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-XGHFSdYdiOKavtkz .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-XGHFSdYdiOKavtkz .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-XGHFSdYdiOKavtkz .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-XGHFSdYdiOKavtkz .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-XGHFSdYdiOKavtkz .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XGHFSdYdiOKavtkz .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XGHFSdYdiOKavtkz div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-XGHFSdYdiOKavtkz .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-XGHFSdYdiOKavtkz rect.text{fill:none;stroke-width:0;}#mermaid-svg-XGHFSdYdiOKavtkz .icon-shape,#mermaid-svg-XGHFSdYdiOKavtkz .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-XGHFSdYdiOKavtkz .icon-shape p,#mermaid-svg-XGHFSdYdiOKavtkz .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-XGHFSdYdiOKavtkz .icon-shape rect,#mermaid-svg-XGHFSdYdiOKavtkz .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-XGHFSdYdiOKavtkz .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-XGHFSdYdiOKavtkz .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-XGHFSdYdiOKavtkz :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 多模态查询
GPT四欧图像描述
文本问题
拼接输入
FORGE 对齐
净化查询
LENS 编码
文本语料库
排序结果

图1-2 BRIDGE 系统架构总览。 红色为输入起点，橙色为视觉转文本环节，蓝色为系统组件，绿色为净化后的查询，紫色为终果。整个推理链路在 FORGE 输出后完全退化为文本模态，无需多模态编码器参与。

这个架构的物理直觉是：我们不是在教检索器"看懂"图像，而是在教一个语言模型把用户的图文表达翻译成检索器的母语。FORGE 充当的是"查询翻译官"，而 LENS 是"精通该语言的图书管理员"。两者的分工非常清晰------FORGE 负责消除噪声、聚焦意图；LENS 负责在净化后的意图空间中执行高效检索。

原创工程观点1：查询对齐是架构级决策，不是后期优化项。传统思路把查询重写当作检索系统的可选插件，但 BRIDGE 证明在多模态场景下，查询对齐决定了系统性能的天花板，其影响幅度（+4.3 到 +7.3 nDCG 点）远超更换底层编码器带来的收益。

1.3 闭环：问题重构与工程判断

BRIDGE 带给我们的根本重构是：多模态到文本检索的模态差距，本质上是一个查询表示问题，而非视觉理解问题。当我们把问题从"如何让检索器理解图像"转换为"如何把用户的图文意图翻译成检索器能处理的文本查询"时，整个技术路径发生了质变。

这意味着什么？意味着我们可以用 7B 参数的语言模型，通过强化学习训练，达到甚至超过 72B 多模态编码器的检索效果。意味着系统部署时不需要加载视觉编码器，推理成本显著降低。意味着我们可以把 FORGE 作为即插即用的对齐器，叠加到任何现有检索器上，统一获得提升。
#mermaid-svg-03r5eqWop0W2qFx1{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-03r5eqWop0W2qFx1 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-03r5eqWop0W2qFx1 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-03r5eqWop0W2qFx1 .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-03r5eqWop0W2qFx1 .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-03r5eqWop0W2qFx1 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-03r5eqWop0W2qFx1 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-03r5eqWop0W2qFx1 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-03r5eqWop0W2qFx1 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-03r5eqWop0W2qFx1 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-03r5eqWop0W2qFx1 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-03r5eqWop0W2qFx1 .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-03r5eqWop0W2qFx1 .marker.cross{stroke:#0b0b0b;}#mermaid-svg-03r5eqWop0W2qFx1 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-03r5eqWop0W2qFx1 p{margin:0;}#mermaid-svg-03r5eqWop0W2qFx1 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-03r5eqWop0W2qFx1 .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-03r5eqWop0W2qFx1 .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-03r5eqWop0W2qFx1 .cluster-label span p{background-color:transparent;}#mermaid-svg-03r5eqWop0W2qFx1 .label text,#mermaid-svg-03r5eqWop0W2qFx1 span{fill:#333;color:#333;}#mermaid-svg-03r5eqWop0W2qFx1 .node rect,#mermaid-svg-03r5eqWop0W2qFx1 .node circle,#mermaid-svg-03r5eqWop0W2qFx1 .node ellipse,#mermaid-svg-03r5eqWop0W2qFx1 .node polygon,#mermaid-svg-03r5eqWop0W2qFx1 .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-03r5eqWop0W2qFx1 .rough-node .label text,#mermaid-svg-03r5eqWop0W2qFx1 .node .label text,#mermaid-svg-03r5eqWop0W2qFx1 .image-shape .label,#mermaid-svg-03r5eqWop0W2qFx1 .icon-shape .label{text-anchor:middle;}#mermaid-svg-03r5eqWop0W2qFx1 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-03r5eqWop0W2qFx1 .rough-node .label,#mermaid-svg-03r5eqWop0W2qFx1 .node .label,#mermaid-svg-03r5eqWop0W2qFx1 .image-shape .label,#mermaid-svg-03r5eqWop0W2qFx1 .icon-shape .label{text-align:center;}#mermaid-svg-03r5eqWop0W2qFx1 .node.clickable{cursor:pointer;}#mermaid-svg-03r5eqWop0W2qFx1 .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-03r5eqWop0W2qFx1 .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-03r5eqWop0W2qFx1 .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-03r5eqWop0W2qFx1 .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-03r5eqWop0W2qFx1 .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-03r5eqWop0W2qFx1 .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-03r5eqWop0W2qFx1 .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-03r5eqWop0W2qFx1 .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-03r5eqWop0W2qFx1 .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-03r5eqWop0W2qFx1 .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-03r5eqWop0W2qFx1 .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-03r5eqWop0W2qFx1 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-03r5eqWop0W2qFx1 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-03r5eqWop0W2qFx1 rect.text{fill:none;stroke-width:0;}#mermaid-svg-03r5eqWop0W2qFx1 .icon-shape,#mermaid-svg-03r5eqWop0W2qFx1 .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-03r5eqWop0W2qFx1 .icon-shape p,#mermaid-svg-03r5eqWop0W2qFx1 .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-03r5eqWop0W2qFx1 .icon-shape rect,#mermaid-svg-03r5eqWop0W2qFx1 .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-03r5eqWop0W2qFx1 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-03r5eqWop0W2qFx1 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-03r5eqWop0W2qFx1 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 旧范式
堆编码器容量
视觉融合
模态差距持续
新范式
查询净化
文本检索
差距缩小四成六

图1-3 从容量范式到查询范式的转移。 灰色为旧路径，红色为其瓶颈节点，绿色为新路径及其终果。BRIDGE 将模态差距从 4.6 点压缩到 2.5 点，相对缩小 46%，证明查询表示是主要杠杆。

这在实际物理系统中意味着：如果你正在部署一个需要处理截图、图表、照片的技术问答系统，不要急于采购更大的多模态模型。先审视你的查询链路------用户的原始输入是否被对话噪声污染？视觉信息是否被正确提取并结构化？查询对齐可能是投入产出比最高的优化点。

本章检查清单

能够解释为什么多模态编码器在 MM-BRIGHT 上系统性输给纯文本检索器
能够绘制 BRIDGE 的三阶段流水线并说明每个阶段的模态转换
能够判断一个业务场景是否适合采用查询对齐而非编码器升级
理解"查询纠缠"导致的嵌入退化机制
能够用"查询翻译官"的比喻向团队解释 FORGE 的定位

第2章 FORGE：强化学习查询对齐引擎

2.1 破冰：查询噪声如何杀死检索精度？

让我们解剖一个真实的查询。用户上传了一张 Ubuntu 终端截图，显示 Apache2 服务启动失败的错误日志，并附言："为什么我的服务总是崩溃？昨天还好好的，在线等急。" 如果我们把这段文本和图像描述直接拼接，输入密集检索器，会发生什么？

密集检索器（无论是双编码器还是交叉编码器）会把整个输入序列压缩成一个固定维度的向量。在这个向量中，"在线等急""昨天还好好的"这类对话填充词占据了大量嵌入空间，而"Apache2""端口冲突""systemctl"这些真正决定检索方向的术语被稀释了。更糟的是，视觉描述（"截图显示红色错误提示""最后一行有 failed 字样"）虽然忠实，但缺乏检索关键词的精确性，进一步污染了查询向量。

我们做了一个小实验：把同样的查询分别用原始拼接方式和 FORGE 净化后的方式输入同一个检索器。原始查询的 nDCG@10 只有 25.4，而净化后的查询达到 29.7。这 4.3 点的差距完全来自查询侧，检索器没有做任何改变。这说明密集检索器对查询噪声的敏感度远超我们想象------它不是"鲁棒的语义理解器"，而是"精密的向量匹配仪"，输入 slightest 的偏移都会导致输出大幅偏离。
#mermaid-svg-tvh2LlTFvd1D5YwI{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-tvh2LlTFvd1D5YwI .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-tvh2LlTFvd1D5YwI .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-tvh2LlTFvd1D5YwI .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-tvh2LlTFvd1D5YwI .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-tvh2LlTFvd1D5YwI .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-tvh2LlTFvd1D5YwI .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-tvh2LlTFvd1D5YwI .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-tvh2LlTFvd1D5YwI .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-tvh2LlTFvd1D5YwI .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-tvh2LlTFvd1D5YwI .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-tvh2LlTFvd1D5YwI .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-tvh2LlTFvd1D5YwI .marker.cross{stroke:#0b0b0b;}#mermaid-svg-tvh2LlTFvd1D5YwI svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-tvh2LlTFvd1D5YwI p{margin:0;}#mermaid-svg-tvh2LlTFvd1D5YwI .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-tvh2LlTFvd1D5YwI .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-tvh2LlTFvd1D5YwI .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-tvh2LlTFvd1D5YwI .cluster-label span p{background-color:transparent;}#mermaid-svg-tvh2LlTFvd1D5YwI .label text,#mermaid-svg-tvh2LlTFvd1D5YwI span{fill:#333;color:#333;}#mermaid-svg-tvh2LlTFvd1D5YwI .node rect,#mermaid-svg-tvh2LlTFvd1D5YwI .node circle,#mermaid-svg-tvh2LlTFvd1D5YwI .node ellipse,#mermaid-svg-tvh2LlTFvd1D5YwI .node polygon,#mermaid-svg-tvh2LlTFvd1D5YwI .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-tvh2LlTFvd1D5YwI .rough-node .label text,#mermaid-svg-tvh2LlTFvd1D5YwI .node .label text,#mermaid-svg-tvh2LlTFvd1D5YwI .image-shape .label,#mermaid-svg-tvh2LlTFvd1D5YwI .icon-shape .label{text-anchor:middle;}#mermaid-svg-tvh2LlTFvd1D5YwI .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-tvh2LlTFvd1D5YwI .rough-node .label,#mermaid-svg-tvh2LlTFvd1D5YwI .node .label,#mermaid-svg-tvh2LlTFvd1D5YwI .image-shape .label,#mermaid-svg-tvh2LlTFvd1D5YwI .icon-shape .label{text-align:center;}#mermaid-svg-tvh2LlTFvd1D5YwI .node.clickable{cursor:pointer;}#mermaid-svg-tvh2LlTFvd1D5YwI .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-tvh2LlTFvd1D5YwI .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-tvh2LlTFvd1D5YwI .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-tvh2LlTFvd1D5YwI .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-tvh2LlTFvd1D5YwI .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-tvh2LlTFvd1D5YwI .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-tvh2LlTFvd1D5YwI .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-tvh2LlTFvd1D5YwI .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-tvh2LlTFvd1D5YwI .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-tvh2LlTFvd1D5YwI .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-tvh2LlTFvd1D5YwI .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-tvh2LlTFvd1D5YwI div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-tvh2LlTFvd1D5YwI .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-tvh2LlTFvd1D5YwI rect.text{fill:none;stroke-width:0;}#mermaid-svg-tvh2LlTFvd1D5YwI .icon-shape,#mermaid-svg-tvh2LlTFvd1D5YwI .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-tvh2LlTFvd1D5YwI .icon-shape p,#mermaid-svg-tvh2LlTFvd1D5YwI .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-tvh2LlTFvd1D5YwI .icon-shape rect,#mermaid-svg-tvh2LlTFvd1D5YwI .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-tvh2LlTFvd1D5YwI .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-tvh2LlTFvd1D5YwI .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-tvh2LlTFvd1D5YwI :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 原始查询
对话填充词
视觉描述
检索关键词
嵌入空间
噪声占比高
向量偏移
召回偏差
FORGE 净化
仅保留关键词
意图向量
精准召回

图2-1 查询噪声的嵌入降解链。 红色为原始查询与噪声根因，橙色为对话填充词，紫色为检索失败终果，绿色为净化路径。FORGE 通过剥离填充词和模糊视觉描述，将嵌入空间还给真正的检索意图。

这个现象的工程含义是：查询净化不是"锦上添花"的预处理，而是检索精度的前置条件。在多模态场景中，由于输入天然包含三种异构信号（视觉描述、对话语境、检索意图），噪声问题比纯文本查询严重一个数量级。

认知检查点：密集检索器对查询噪声的敏感度是反直觉的------它并非鲁棒的语义理解器，而是高精度的向量匹配仪，原始多模态查询中的对话填充词会在嵌入空间中系统性压倒检索关键词，造成 4.3 nDCG 点的精度损失。

2.2 建图：FORGE 的训练数据与强化学习框架

FORGE 不是通过监督学习模仿人工重写的查询，而是直接通过强化学习优化下游检索质量。这个设计选择至关重要，因为它让模型自由探索"什么样的查询能让检索器表现最好"，而不是被人类先验的查询模板束缚。

训练数据来自 MM-BRIGHT 的训练划分，每个样本包含：一个多模态查询（文本 + 图像）、GPT-4o 生成的图像描述、以及一个已知的相关文档。对于每个样本，我们还用 BM25 和初始 LENS 检索采样了硬负样本------这些负样本与查询表面相关但实际不相关，为强化学习提供了对比信号。

FORGE 基于 Qwen2.5-7B-Instruct，使用 GRPO（Group Relative Policy Optimization）进行训练。GRPO 的核心思想是：对同一个输入采样多个候选查询，用检索器评估每个候选的 nDCG 作为奖励，然后以组内平均奖励为基线计算优势，更新策略。这消除了传统 PPO 中需要单独训练价值网络的负担，特别适合文本生成任务。
#mermaid-svg-MsAwGsfB45pehsN3{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-MsAwGsfB45pehsN3 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-MsAwGsfB45pehsN3 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-MsAwGsfB45pehsN3 .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-MsAwGsfB45pehsN3 .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MsAwGsfB45pehsN3 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-MsAwGsfB45pehsN3 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-MsAwGsfB45pehsN3 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-MsAwGsfB45pehsN3 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-MsAwGsfB45pehsN3 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-MsAwGsfB45pehsN3 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-MsAwGsfB45pehsN3 .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-MsAwGsfB45pehsN3 .marker.cross{stroke:#0b0b0b;}#mermaid-svg-MsAwGsfB45pehsN3 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-MsAwGsfB45pehsN3 p{margin:0;}#mermaid-svg-MsAwGsfB45pehsN3 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-MsAwGsfB45pehsN3 .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MsAwGsfB45pehsN3 .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MsAwGsfB45pehsN3 .cluster-label span p{background-color:transparent;}#mermaid-svg-MsAwGsfB45pehsN3 .label text,#mermaid-svg-MsAwGsfB45pehsN3 span{fill:#333;color:#333;}#mermaid-svg-MsAwGsfB45pehsN3 .node rect,#mermaid-svg-MsAwGsfB45pehsN3 .node circle,#mermaid-svg-MsAwGsfB45pehsN3 .node ellipse,#mermaid-svg-MsAwGsfB45pehsN3 .node polygon,#mermaid-svg-MsAwGsfB45pehsN3 .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-MsAwGsfB45pehsN3 .rough-node .label text,#mermaid-svg-MsAwGsfB45pehsN3 .node .label text,#mermaid-svg-MsAwGsfB45pehsN3 .image-shape .label,#mermaid-svg-MsAwGsfB45pehsN3 .icon-shape .label{text-anchor:middle;}#mermaid-svg-MsAwGsfB45pehsN3 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-MsAwGsfB45pehsN3 .rough-node .label,#mermaid-svg-MsAwGsfB45pehsN3 .node .label,#mermaid-svg-MsAwGsfB45pehsN3 .image-shape .label,#mermaid-svg-MsAwGsfB45pehsN3 .icon-shape .label{text-align:center;}#mermaid-svg-MsAwGsfB45pehsN3 .node.clickable{cursor:pointer;}#mermaid-svg-MsAwGsfB45pehsN3 .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-MsAwGsfB45pehsN3 .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-MsAwGsfB45pehsN3 .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-MsAwGsfB45pehsN3 .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-MsAwGsfB45pehsN3 .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-MsAwGsfB45pehsN3 .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-MsAwGsfB45pehsN3 .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-MsAwGsfB45pehsN3 .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-MsAwGsfB45pehsN3 .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-MsAwGsfB45pehsN3 .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MsAwGsfB45pehsN3 .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MsAwGsfB45pehsN3 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-MsAwGsfB45pehsN3 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-MsAwGsfB45pehsN3 rect.text{fill:none;stroke-width:0;}#mermaid-svg-MsAwGsfB45pehsN3 .icon-shape,#mermaid-svg-MsAwGsfB45pehsN3 .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-MsAwGsfB45pehsN3 .icon-shape p,#mermaid-svg-MsAwGsfB45pehsN3 .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-MsAwGsfB45pehsN3 .icon-shape rect,#mermaid-svg-MsAwGsfB45pehsN3 .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-MsAwGsfB45pehsN3 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-MsAwGsfB45pehsN3 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-MsAwGsfB45pehsN3 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 多模态输入
采样八组查询
候选一
候选二
候选八
LENS 评估
计算 nDCG 奖励
组内平均基线
优势估计
GRPO 更新
策略优化

图2-2 FORGE 的 GRPO 训练循环。 红色为输入起点，橙色为采样与基线计算，蓝色为检索评估与策略更新，绿色为奖励信号，紫色为优化终态。八组候选查询的对比奖励驱动策略向高检索质量方向收敛。

奖励函数的设计非常直接：对于 FORGE 生成的查询，我们用 LENS 在语料库上执行检索，计算 ground-truth 文档的 nDCG@k。这个奖励是端到端的------它不关心查询读起来是否像人类写的，只关心它是否能把正确答案排到前面。这种任务特定的奖励信号，比模仿人类重写的监督损失更契合检索目标。

原创工程观点2：端到端检索奖励比模仿学习更有效。监督训练的 FORGE 只能达到 28.5 nDCG，而 RL 训练的版本达到 29.7。这 1.2 点的差距证明，人类认为"好的查询"和检索器认为"好的查询"不是一回事------直接优化检索指标让模型发现了人类专家未曾察觉的查询策略。

2.3 深入分析：GRPO 如何学习查询蒸馏

让我们走进 GRPO 的一次训练迭代。给定一个输入（文本问题 + 图像描述），FORGE 的策略网络生成八组不同的候选查询。这些候选可能有的保留了过多对话语境，有的过度压缩丢失了关键视觉信息，有的恰好精准提取了技术术语。LENS 对这八组候选分别执行检索，计算出八个 nDCG 分数。

GRPO 的关键在于它不需要告诉模型"正确答案是什么"，只需要告诉模型"这组查询中哪个更好"。组内平均 nDCG 作为基线，高于基线的候选获得正优势，低于基线的获得负优势。策略网络通过最大化这些优势来更新参数，逐渐学会生成高奖励查询的特征模式。

这个训练过程有几个值得注意的工程细节。首先，输出被严格限制在 200 词以内，防止模型重新引入冗长噪声。其次，硬负样本的引入让奖励信号具有区分度------如果只用随机负样本，很多候选查询都能轻松获得高奖励，策略无法学到精细的区分能力。最后，学习率设置为 1e-6，训练仅 3 个 epoch，这是因为 7B 模型已经具备强大的语言先验，我们只需要微调其生成策略，而不是重新学习语言表示。
#mermaid-svg-zQmTDqU06Ivw7OJb{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-zQmTDqU06Ivw7OJb .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-zQmTDqU06Ivw7OJb .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-zQmTDqU06Ivw7OJb .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-zQmTDqU06Ivw7OJb .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-zQmTDqU06Ivw7OJb .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-zQmTDqU06Ivw7OJb .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-zQmTDqU06Ivw7OJb .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-zQmTDqU06Ivw7OJb .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-zQmTDqU06Ivw7OJb .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-zQmTDqU06Ivw7OJb .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-zQmTDqU06Ivw7OJb .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-zQmTDqU06Ivw7OJb .marker.cross{stroke:#0b0b0b;}#mermaid-svg-zQmTDqU06Ivw7OJb svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-zQmTDqU06Ivw7OJb p{margin:0;}#mermaid-svg-zQmTDqU06Ivw7OJb .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-zQmTDqU06Ivw7OJb .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-zQmTDqU06Ivw7OJb .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-zQmTDqU06Ivw7OJb .cluster-label span p{background-color:transparent;}#mermaid-svg-zQmTDqU06Ivw7OJb .label text,#mermaid-svg-zQmTDqU06Ivw7OJb span{fill:#333;color:#333;}#mermaid-svg-zQmTDqU06Ivw7OJb .node rect,#mermaid-svg-zQmTDqU06Ivw7OJb .node circle,#mermaid-svg-zQmTDqU06Ivw7OJb .node ellipse,#mermaid-svg-zQmTDqU06Ivw7OJb .node polygon,#mermaid-svg-zQmTDqU06Ivw7OJb .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-zQmTDqU06Ivw7OJb .rough-node .label text,#mermaid-svg-zQmTDqU06Ivw7OJb .node .label text,#mermaid-svg-zQmTDqU06Ivw7OJb .image-shape .label,#mermaid-svg-zQmTDqU06Ivw7OJb .icon-shape .label{text-anchor:middle;}#mermaid-svg-zQmTDqU06Ivw7OJb .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-zQmTDqU06Ivw7OJb .rough-node .label,#mermaid-svg-zQmTDqU06Ivw7OJb .node .label,#mermaid-svg-zQmTDqU06Ivw7OJb .image-shape .label,#mermaid-svg-zQmTDqU06Ivw7OJb .icon-shape .label{text-align:center;}#mermaid-svg-zQmTDqU06Ivw7OJb .node.clickable{cursor:pointer;}#mermaid-svg-zQmTDqU06Ivw7OJb .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-zQmTDqU06Ivw7OJb .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-zQmTDqU06Ivw7OJb .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-zQmTDqU06Ivw7OJb .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-zQmTDqU06Ivw7OJb .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-zQmTDqU06Ivw7OJb .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-zQmTDqU06Ivw7OJb .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-zQmTDqU06Ivw7OJb .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-zQmTDqU06Ivw7OJb .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-zQmTDqU06Ivw7OJb .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-zQmTDqU06Ivw7OJb .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-zQmTDqU06Ivw7OJb div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-zQmTDqU06Ivw7OJb .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-zQmTDqU06Ivw7OJb rect.text{fill:none;stroke-width:0;}#mermaid-svg-zQmTDqU06Ivw7OJb .icon-shape,#mermaid-svg-zQmTDqU06Ivw7OJb .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-zQmTDqU06Ivw7OJb .icon-shape p,#mermaid-svg-zQmTDqU06Ivw7OJb .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-zQmTDqU06Ivw7OJb .icon-shape rect,#mermaid-svg-zQmTDqU06Ivw7OJb .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-zQmTDqU06Ivw7OJb .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-zQmTDqU06Ivw7OJb .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-zQmTDqU06Ivw7OJb :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 输入拼接
策略网络
生成候选
长度约束
二百词截断
LENS 检索
硬负样本对比
nDCG 评分
组内基线
优势计算
策略梯度

图2-3 GRPO 查询蒸馏的详细流程。 红色为输入与关键约束，蓝色为策略网络，橙色为输出控制，绿色为奖励计算，紫色为梯度更新。硬负样本对比确保奖励信号具有足够区分度，驱动策略学习精细的查询压缩策略。

在继续分析模型规模效应之前，我们先审视一个常见的工程误判：很多人认为 RL 训练需要海量数据和计算资源。但 FORGE 的训练配置表明，在已有强语言先验的 7B 模型上，仅需 3 个 epoch、八组采样、和一个小型检索器作为奖励模型，就能学到有效的查询对齐策略。这不是因为 RL 本身简单，而是因为任务定义清晰------奖励直接来自检索指标，没有人类标注的噪声和延迟。

2.4 博弈：模型规模的非单调曲线与成本权衡

当我们为 FORGE 选择基座模型时，直觉告诉我们要选最大的。但实验结果给出了一个反直觉的 U 型曲线：Llama-3.2-11B 达到 31.0，Qwen2.5-3B 达到 30.4，而 Qwen2.5-72B 反而只有 29.3------比 7B 版本还低。

为什么更大的模型表现更差？问题出在指令遵循风格上。FORGE 的任务是生成紧凑的搜索字符串，这要求模型极度克制、精准、拒绝冗余。Llama-3.2-11B 的预训练优化了简洁结构化输出，天然契合查询蒸馏任务。而更大的 Qwen2.5-72B 倾向于生成详细解释、补充背景、甚至主动扩展查询------这些行为在对话场景中是优点，在检索对齐中却是致命的噪声重新引入。

GPT-4o 的零样本重写达到了 29.6，与我们的 RL 训练 7B 模型（29.7）基本持平。这意味着任务特定的 RL 优化可以弥补 10 倍参数差距，甚至超越前沿模型的通用能力。对于工程部署而言，这是一个强烈的信号：与其调用昂贵的 GPT-4o API 做在线重写，不如用 7B 模型做本地推理，成本和延迟都降低一个数量级。
#mermaid-svg-MIqFfLqURuWDdJDE{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-MIqFfLqURuWDdJDE .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-MIqFfLqURuWDdJDE .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-MIqFfLqURuWDdJDE .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-MIqFfLqURuWDdJDE .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MIqFfLqURuWDdJDE .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-MIqFfLqURuWDdJDE .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-MIqFfLqURuWDdJDE .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-MIqFfLqURuWDdJDE .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-MIqFfLqURuWDdJDE .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-MIqFfLqURuWDdJDE .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-MIqFfLqURuWDdJDE .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-MIqFfLqURuWDdJDE .marker.cross{stroke:#0b0b0b;}#mermaid-svg-MIqFfLqURuWDdJDE svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-MIqFfLqURuWDdJDE p{margin:0;}#mermaid-svg-MIqFfLqURuWDdJDE .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-MIqFfLqURuWDdJDE .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MIqFfLqURuWDdJDE .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MIqFfLqURuWDdJDE .cluster-label span p{background-color:transparent;}#mermaid-svg-MIqFfLqURuWDdJDE .label text,#mermaid-svg-MIqFfLqURuWDdJDE span{fill:#333;color:#333;}#mermaid-svg-MIqFfLqURuWDdJDE .node rect,#mermaid-svg-MIqFfLqURuWDdJDE .node circle,#mermaid-svg-MIqFfLqURuWDdJDE .node ellipse,#mermaid-svg-MIqFfLqURuWDdJDE .node polygon,#mermaid-svg-MIqFfLqURuWDdJDE .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-MIqFfLqURuWDdJDE .rough-node .label text,#mermaid-svg-MIqFfLqURuWDdJDE .node .label text,#mermaid-svg-MIqFfLqURuWDdJDE .image-shape .label,#mermaid-svg-MIqFfLqURuWDdJDE .icon-shape .label{text-anchor:middle;}#mermaid-svg-MIqFfLqURuWDdJDE .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-MIqFfLqURuWDdJDE .rough-node .label,#mermaid-svg-MIqFfLqURuWDdJDE .node .label,#mermaid-svg-MIqFfLqURuWDdJDE .image-shape .label,#mermaid-svg-MIqFfLqURuWDdJDE .icon-shape .label{text-align:center;}#mermaid-svg-MIqFfLqURuWDdJDE .node.clickable{cursor:pointer;}#mermaid-svg-MIqFfLqURuWDdJDE .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-MIqFfLqURuWDdJDE .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-MIqFfLqURuWDdJDE .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-MIqFfLqURuWDdJDE .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-MIqFfLqURuWDdJDE .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-MIqFfLqURuWDdJDE .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-MIqFfLqURuWDdJDE .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-MIqFfLqURuWDdJDE .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-MIqFfLqURuWDdJDE .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-MIqFfLqURuWDdJDE .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MIqFfLqURuWDdJDE .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-MIqFfLqURuWDdJDE div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-MIqFfLqURuWDdJDE .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-MIqFfLqURuWDdJDE rect.text{fill:none;stroke-width:0;}#mermaid-svg-MIqFfLqURuWDdJDE .icon-shape,#mermaid-svg-MIqFfLqURuWDdJDE .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-MIqFfLqURuWDdJDE .icon-shape p,#mermaid-svg-MIqFfLqURuWDdJDE .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-MIqFfLqURuWDdJDE .icon-shape rect,#mermaid-svg-MIqFfLqURuWDdJDE .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-MIqFfLqURuWDdJDE .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-MIqFfLqURuWDdJDE .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-MIqFfLqURuWDdJDE :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 三B
七B
十一B
七十二B
模型选择
规模与风格
简洁先验弱
最佳性价比
风格最优
冗长倾向
三十分四
二十分七
三十分零
二十分三
API 方案
GPT四欧
二十分六
本地部署
成本降十倍

图2-4 FORGE 基座模型的决策分支。 红色为决策起点与风险路径，橙色为条件分支，绿色为可行解与最优路径。模型规模与查询蒸馏性能呈非单调关系，十一 B 的 Llama 因简洁风格胜出，七十二 B 大模型因冗长倾向反噬性能。

原创工程观点3：查询蒸馏任务中，模型的"克制能力"比"生成能力"更重要。大模型的知识丰富性和表达流畅性在这里成为负债而非资产------每多生成一个无关词，检索精度就下降一点。这颠覆了"越大越好"的默认假设，在工程选型时必须把输出风格纳入核心评估维度。

2.5 闭环：FORGE 的工程落地判断

FORGE 的工程价值可以概括为三个可落地的判断。第一，它是一个模态转换器，将多模态输入转换为纯文本检索查询，使得下游可以使用任何现成的文本检索器，无需改造。第二，它是一个噪声过滤器，通过 RL 训练习得了比人类专家更精准的查询压缩策略，因为人类倾向于保留"读起来自然"的词语，而 RL 只保留"对检索有用"的词语。第三，它是一个规模经济点，7B 参数的本地部署在成本和延迟上远低于调用大模型 API，且性能持平甚至超越。
#mermaid-svg-7tFM6zXY0GhVA8n8{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-7tFM6zXY0GhVA8n8 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-7tFM6zXY0GhVA8n8 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-7tFM6zXY0GhVA8n8 .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-7tFM6zXY0GhVA8n8 .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7tFM6zXY0GhVA8n8 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-7tFM6zXY0GhVA8n8 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-7tFM6zXY0GhVA8n8 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-7tFM6zXY0GhVA8n8 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-7tFM6zXY0GhVA8n8 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-7tFM6zXY0GhVA8n8 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-7tFM6zXY0GhVA8n8 .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-7tFM6zXY0GhVA8n8 .marker.cross{stroke:#0b0b0b;}#mermaid-svg-7tFM6zXY0GhVA8n8 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-7tFM6zXY0GhVA8n8 p{margin:0;}#mermaid-svg-7tFM6zXY0GhVA8n8 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-7tFM6zXY0GhVA8n8 .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7tFM6zXY0GhVA8n8 .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7tFM6zXY0GhVA8n8 .cluster-label span p{background-color:transparent;}#mermaid-svg-7tFM6zXY0GhVA8n8 .label text,#mermaid-svg-7tFM6zXY0GhVA8n8 span{fill:#333;color:#333;}#mermaid-svg-7tFM6zXY0GhVA8n8 .node rect,#mermaid-svg-7tFM6zXY0GhVA8n8 .node circle,#mermaid-svg-7tFM6zXY0GhVA8n8 .node ellipse,#mermaid-svg-7tFM6zXY0GhVA8n8 .node polygon,#mermaid-svg-7tFM6zXY0GhVA8n8 .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-7tFM6zXY0GhVA8n8 .rough-node .label text,#mermaid-svg-7tFM6zXY0GhVA8n8 .node .label text,#mermaid-svg-7tFM6zXY0GhVA8n8 .image-shape .label,#mermaid-svg-7tFM6zXY0GhVA8n8 .icon-shape .label{text-anchor:middle;}#mermaid-svg-7tFM6zXY0GhVA8n8 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-7tFM6zXY0GhVA8n8 .rough-node .label,#mermaid-svg-7tFM6zXY0GhVA8n8 .node .label,#mermaid-svg-7tFM6zXY0GhVA8n8 .image-shape .label,#mermaid-svg-7tFM6zXY0GhVA8n8 .icon-shape .label{text-align:center;}#mermaid-svg-7tFM6zXY0GhVA8n8 .node.clickable{cursor:pointer;}#mermaid-svg-7tFM6zXY0GhVA8n8 .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-7tFM6zXY0GhVA8n8 .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-7tFM6zXY0GhVA8n8 .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-7tFM6zXY0GhVA8n8 .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-7tFM6zXY0GhVA8n8 .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-7tFM6zXY0GhVA8n8 .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-7tFM6zXY0GhVA8n8 .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-7tFM6zXY0GhVA8n8 .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-7tFM6zXY0GhVA8n8 .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-7tFM6zXY0GhVA8n8 .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7tFM6zXY0GhVA8n8 .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7tFM6zXY0GhVA8n8 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-7tFM6zXY0GhVA8n8 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-7tFM6zXY0GhVA8n8 rect.text{fill:none;stroke-width:0;}#mermaid-svg-7tFM6zXY0GhVA8n8 .icon-shape,#mermaid-svg-7tFM6zXY0GhVA8n8 .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-7tFM6zXY0GhVA8n8 .icon-shape p,#mermaid-svg-7tFM6zXY0GhVA8n8 .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-7tFM6zXY0GhVA8n8 .icon-shape rect,#mermaid-svg-7tFM6zXY0GhVA8n8 .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-7tFM6zXY0GhVA8n8 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-7tFM6zXY0GhVA8n8 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-7tFM6zXY0GhVA8n8 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} FORGE 定位
模态转换器
噪声过滤器
规模经济点
兼容任意文本检索器
RL 优于人类压缩
七B 本地匹敌 GPT四欧
工程落地

图2-5 FORGE 的三重工程定位。 红色为根节点，蓝色为功能维度，紫色为落地终果。FORGE 的价值不仅在于提升精度，更在于解耦了多模态检索系统对视觉编码器的硬依赖。

这在实际物理系统中意味着什么？意味着你可以在一个标准的 Elasticsearch 或 Milvus 文本检索集群前，部署一个 7B 的 FORGE 服务，瞬间获得多模态查询处理能力。不需要重新索引图像，不需要购买多模态向量数据库，不需要训练视觉编码器。这是架构层面的解耦，而非组件层面的升级。

本章检查清单

能够解释为什么监督学习的 FORGE（28.5）不如 RL 训练的版本（29.7）
能够绘制 GRPO 训练循环并说明组内基线的作用
能够判断一个基座模型是否适合查询蒸馏任务（评估其输出风格而非仅看规模）
能够计算 FORGE 本地部署 vs GPT-4o API 的成本差异（约十倍）
理解硬负样本在 RL 奖励信号中的必要性
能够用端到端检索奖励替代模仿学习损失的设计思路

第3章 LENS 与 BRIDGE 系统协同

3.1 破冰：检索器需要什么样的查询？

假设 FORGE 已经输出了一个完美的查询字符串："Apache2 端口冲突 systemctl failed Ubuntu 22.04"。现在轮到检索器了。传统的密集检索器（如标准的双编码器 BERT）能处理好这样的查询吗？

答案是：能处理，但不够。标准密集检索器在 MSMARCO 这类简单问答数据上训练，擅长匹配字面语义和浅层推理。但 FORGE 输出的查询往往包含深层技术意图------它可能省略了主语和谓语，只留下关键术语和约束条件；它可能跨领域组合概念（如"量子计算中的纠错码与表面码"）；它可能需要推理才能与文档建立关联（如"systemctl failed"需要对应到"服务启动失败排查"而非字面上的 systemctl 命令手册）。

LENS 的设计初衷就是处理这类"意图丰富但结构紧凑"的查询。它基于 Qwen3-Embedding-4B，在数学、科学、医学、法律和软件工程等领域的推理密集型检索数据上进行了对比学习微调。训练时使用了 in-batch 负样本和七组硬负样本，温度系数设为 0.02，批次大小 512，学习率 1e-5，训练 3 个 epoch。这些超参数的选择反映了它的训练目标：不是学习通用的语义相似度，而是学习技术领域内的精确推理关联。
#mermaid-svg-7BSn8MMaPmdzt0pk{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-7BSn8MMaPmdzt0pk .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-7BSn8MMaPmdzt0pk .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-7BSn8MMaPmdzt0pk .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-7BSn8MMaPmdzt0pk .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7BSn8MMaPmdzt0pk .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-7BSn8MMaPmdzt0pk .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-7BSn8MMaPmdzt0pk .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-7BSn8MMaPmdzt0pk .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-7BSn8MMaPmdzt0pk .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-7BSn8MMaPmdzt0pk .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-7BSn8MMaPmdzt0pk .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-7BSn8MMaPmdzt0pk .marker.cross{stroke:#0b0b0b;}#mermaid-svg-7BSn8MMaPmdzt0pk svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-7BSn8MMaPmdzt0pk p{margin:0;}#mermaid-svg-7BSn8MMaPmdzt0pk .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-7BSn8MMaPmdzt0pk .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7BSn8MMaPmdzt0pk .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7BSn8MMaPmdzt0pk .cluster-label span p{background-color:transparent;}#mermaid-svg-7BSn8MMaPmdzt0pk .label text,#mermaid-svg-7BSn8MMaPmdzt0pk span{fill:#333;color:#333;}#mermaid-svg-7BSn8MMaPmdzt0pk .node rect,#mermaid-svg-7BSn8MMaPmdzt0pk .node circle,#mermaid-svg-7BSn8MMaPmdzt0pk .node ellipse,#mermaid-svg-7BSn8MMaPmdzt0pk .node polygon,#mermaid-svg-7BSn8MMaPmdzt0pk .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-7BSn8MMaPmdzt0pk .rough-node .label text,#mermaid-svg-7BSn8MMaPmdzt0pk .node .label text,#mermaid-svg-7BSn8MMaPmdzt0pk .image-shape .label,#mermaid-svg-7BSn8MMaPmdzt0pk .icon-shape .label{text-anchor:middle;}#mermaid-svg-7BSn8MMaPmdzt0pk .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-7BSn8MMaPmdzt0pk .rough-node .label,#mermaid-svg-7BSn8MMaPmdzt0pk .node .label,#mermaid-svg-7BSn8MMaPmdzt0pk .image-shape .label,#mermaid-svg-7BSn8MMaPmdzt0pk .icon-shape .label{text-align:center;}#mermaid-svg-7BSn8MMaPmdzt0pk .node.clickable{cursor:pointer;}#mermaid-svg-7BSn8MMaPmdzt0pk .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-7BSn8MMaPmdzt0pk .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-7BSn8MMaPmdzt0pk .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-7BSn8MMaPmdzt0pk .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-7BSn8MMaPmdzt0pk .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-7BSn8MMaPmdzt0pk .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-7BSn8MMaPmdzt0pk .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-7BSn8MMaPmdzt0pk .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-7BSn8MMaPmdzt0pk .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-7BSn8MMaPmdzt0pk .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7BSn8MMaPmdzt0pk .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-7BSn8MMaPmdzt0pk div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-7BSn8MMaPmdzt0pk .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-7BSn8MMaPmdzt0pk rect.text{fill:none;stroke-width:0;}#mermaid-svg-7BSn8MMaPmdzt0pk .icon-shape,#mermaid-svg-7BSn8MMaPmdzt0pk .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-7BSn8MMaPmdzt0pk .icon-shape p,#mermaid-svg-7BSn8MMaPmdzt0pk .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-7BSn8MMaPmdzt0pk .icon-shape rect,#mermaid-svg-7BSn8MMaPmdzt0pk .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-7BSn8MMaPmdzt0pk .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-7BSn8MMaPmdzt0pk .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-7BSn8MMaPmdzt0pk :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 标准检索器
字面匹配
浅层推理
技术查询失效
FORGE 输出
意图紧凑
跨域组合
需深层推理
LENS 处理
精准关联

图3-1 检索器能力不匹配的问题。 灰色为传统路径，红色为失效节点与 FORGE 输出特征，橙色为查询的复杂属性，蓝色为 LENS 的介入点，绿色为成功检索。标准检索器无法消化 FORGE 压缩后的高意图密度查询，需要专门训练的 LENS 来接管。

原创工程观点4：检索器的训练数据分布必须与查询分布匹配。LENS 单独处理原始文本查询只有 25.4 分，但处理 FORGE 净化后的查询达到 29.7。这 4.3 点的差距不是来自检索器升级，而是来自查询-检索器的联合适配------FORGE 和 LENS 是协同进化的，单独优化任何一个都无法达到全局最优。

认知检查点：检索器与查询生成器必须联合适配，而非独立优化。FORGE 产生的紧凑意图查询对传统检索器是"外语"，只有经过推理密集型数据微调的 LENS 才能正确解析------这证明检索精度是查询-检索器接口的函数，而非单一组件的属性。

3.2 建图：BRIDGE 三阶段流水线的模态转换

BRIDGE 的完整推理链路包含三个严格顺序的阶段，每个阶段都伴随着模态或表示形式的转换。第一阶段是视觉到文本的转换：GPT-4o 将查询图像翻译成密集的文本描述。第二阶段是文本到文本的净化：FORGE 将原始文本问题和图像描述拼接后的嘈杂长文本，压缩成检索优化的短查询。第三阶段是文本到向量的检索：LENS 将净化查询编码为稠密向量，在预编码的文档向量库中执行相似度搜索。
#mermaid-svg-ISDHrMbZY6yK5ngs{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-ISDHrMbZY6yK5ngs .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-ISDHrMbZY6yK5ngs .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-ISDHrMbZY6yK5ngs .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-ISDHrMbZY6yK5ngs .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-ISDHrMbZY6yK5ngs .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-ISDHrMbZY6yK5ngs .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-ISDHrMbZY6yK5ngs .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-ISDHrMbZY6yK5ngs .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-ISDHrMbZY6yK5ngs .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-ISDHrMbZY6yK5ngs .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-ISDHrMbZY6yK5ngs .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-ISDHrMbZY6yK5ngs .marker.cross{stroke:#0b0b0b;}#mermaid-svg-ISDHrMbZY6yK5ngs svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-ISDHrMbZY6yK5ngs p{margin:0;}#mermaid-svg-ISDHrMbZY6yK5ngs .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-ISDHrMbZY6yK5ngs .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-ISDHrMbZY6yK5ngs .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-ISDHrMbZY6yK5ngs .cluster-label span p{background-color:transparent;}#mermaid-svg-ISDHrMbZY6yK5ngs .label text,#mermaid-svg-ISDHrMbZY6yK5ngs span{fill:#333;color:#333;}#mermaid-svg-ISDHrMbZY6yK5ngs .node rect,#mermaid-svg-ISDHrMbZY6yK5ngs .node circle,#mermaid-svg-ISDHrMbZY6yK5ngs .node ellipse,#mermaid-svg-ISDHrMbZY6yK5ngs .node polygon,#mermaid-svg-ISDHrMbZY6yK5ngs .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-ISDHrMbZY6yK5ngs .rough-node .label text,#mermaid-svg-ISDHrMbZY6yK5ngs .node .label text,#mermaid-svg-ISDHrMbZY6yK5ngs .image-shape .label,#mermaid-svg-ISDHrMbZY6yK5ngs .icon-shape .label{text-anchor:middle;}#mermaid-svg-ISDHrMbZY6yK5ngs .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-ISDHrMbZY6yK5ngs .rough-node .label,#mermaid-svg-ISDHrMbZY6yK5ngs .node .label,#mermaid-svg-ISDHrMbZY6yK5ngs .image-shape .label,#mermaid-svg-ISDHrMbZY6yK5ngs .icon-shape .label{text-align:center;}#mermaid-svg-ISDHrMbZY6yK5ngs .node.clickable{cursor:pointer;}#mermaid-svg-ISDHrMbZY6yK5ngs .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-ISDHrMbZY6yK5ngs .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-ISDHrMbZY6yK5ngs .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-ISDHrMbZY6yK5ngs .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-ISDHrMbZY6yK5ngs .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-ISDHrMbZY6yK5ngs .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-ISDHrMbZY6yK5ngs .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-ISDHrMbZY6yK5ngs .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-ISDHrMbZY6yK5ngs .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-ISDHrMbZY6yK5ngs .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-ISDHrMbZY6yK5ngs .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-ISDHrMbZY6yK5ngs div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-ISDHrMbZY6yK5ngs .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-ISDHrMbZY6yK5ngs rect.text{fill:none;stroke-width:0;}#mermaid-svg-ISDHrMbZY6yK5ngs .icon-shape,#mermaid-svg-ISDHrMbZY6yK5ngs .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-ISDHrMbZY6yK5ngs .icon-shape p,#mermaid-svg-ISDHrMbZY6yK5ngs .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-ISDHrMbZY6yK5ngs .icon-shape rect,#mermaid-svg-ISDHrMbZY6yK5ngs .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-ISDHrMbZY6yK5ngs .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-ISDHrMbZY6yK5ngs .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-ISDHrMbZY6yK5ngs :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} GPT四欧
FORGE
LENS
图像输入
图像描述
文本问题
拼接输入
净化查询
查询向量
文档向量库
相似度排序
TopK 结果

图3-2 BRIDGE 三阶段模态转换流水线。 黄色为原始输入，橙色为视觉转文本，红色为噪声纠缠态，绿色为净化查询，蓝色为向量编码，紫色为终果。每个阶段的输出都是下一阶段的输入，模态在第一阶段后完全退化为文本。

这个流水线的一个关键工程属性是：一旦第一阶段完成图像描述生成，后续所有阶段都可以复用现有的文本检索基础设施。你不需要多模态向量数据库，不需要图像索引，不需要视觉编码器的 GPU 常驻内存。对于已经拥有成熟文本检索系统的团队，这意味着多模态能力的获得几乎是"免费"的------只需在查询入口前增加一个 FORGE 服务层。

3.3 深入分析：LENS 的对比学习与硬负采样

LENS 的训练目标是学习一个嵌入空间，使得净化查询与其相关文档的距离，远小于与负样本的距离。它采用 InfoNCE 损失，这是一种对比损失，通过指数化的相似度分数来放大正样本与负样本的区分度。温度系数设为 0.02 是一个关键细节------极低的温度使损失函数对相似度差异极度敏感，迫使模型学到高置信度的区分边界，而不是模糊的语义相似。

硬负样本的挖掘策略值得仔细分析。LENS 使用 BM25 和初始 LENS 检查点来采样负样本，这意味着负样本不是随机文档，而是那些"看起来相关但实际不相关"的 tricky 案例。在软件工程领域，这类硬负样本可能是同样讨论 Apache2 但不涉及端口冲突的文档；在医学领域，可能是同样讨论某种症状但病因不同的病例。通过在这些边界案例上训练，LENS 学会了区分细微的技术差异，这是通用检索器无法做到的。
#mermaid-svg-XEYldVf0g06hcni2{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-XEYldVf0g06hcni2 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-XEYldVf0g06hcni2 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-XEYldVf0g06hcni2 .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-XEYldVf0g06hcni2 .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XEYldVf0g06hcni2 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-XEYldVf0g06hcni2 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-XEYldVf0g06hcni2 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-XEYldVf0g06hcni2 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-XEYldVf0g06hcni2 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-XEYldVf0g06hcni2 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-XEYldVf0g06hcni2 .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-XEYldVf0g06hcni2 .marker.cross{stroke:#0b0b0b;}#mermaid-svg-XEYldVf0g06hcni2 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-XEYldVf0g06hcni2 p{margin:0;}#mermaid-svg-XEYldVf0g06hcni2 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-XEYldVf0g06hcni2 .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XEYldVf0g06hcni2 .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XEYldVf0g06hcni2 .cluster-label span p{background-color:transparent;}#mermaid-svg-XEYldVf0g06hcni2 .label text,#mermaid-svg-XEYldVf0g06hcni2 span{fill:#333;color:#333;}#mermaid-svg-XEYldVf0g06hcni2 .node rect,#mermaid-svg-XEYldVf0g06hcni2 .node circle,#mermaid-svg-XEYldVf0g06hcni2 .node ellipse,#mermaid-svg-XEYldVf0g06hcni2 .node polygon,#mermaid-svg-XEYldVf0g06hcni2 .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-XEYldVf0g06hcni2 .rough-node .label text,#mermaid-svg-XEYldVf0g06hcni2 .node .label text,#mermaid-svg-XEYldVf0g06hcni2 .image-shape .label,#mermaid-svg-XEYldVf0g06hcni2 .icon-shape .label{text-anchor:middle;}#mermaid-svg-XEYldVf0g06hcni2 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-XEYldVf0g06hcni2 .rough-node .label,#mermaid-svg-XEYldVf0g06hcni2 .node .label,#mermaid-svg-XEYldVf0g06hcni2 .image-shape .label,#mermaid-svg-XEYldVf0g06hcni2 .icon-shape .label{text-align:center;}#mermaid-svg-XEYldVf0g06hcni2 .node.clickable{cursor:pointer;}#mermaid-svg-XEYldVf0g06hcni2 .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-XEYldVf0g06hcni2 .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-XEYldVf0g06hcni2 .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-XEYldVf0g06hcni2 .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-XEYldVf0g06hcni2 .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-XEYldVf0g06hcni2 .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-XEYldVf0g06hcni2 .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-XEYldVf0g06hcni2 .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-XEYldVf0g06hcni2 .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-XEYldVf0g06hcni2 .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XEYldVf0g06hcni2 .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-XEYldVf0g06hcni2 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-XEYldVf0g06hcni2 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-XEYldVf0g06hcni2 rect.text{fill:none;stroke-width:0;}#mermaid-svg-XEYldVf0g06hcni2 .icon-shape,#mermaid-svg-XEYldVf0g06hcni2 .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-XEYldVf0g06hcni2 .icon-shape p,#mermaid-svg-XEYldVf0g06hcni2 .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-XEYldVf0g06hcni2 .icon-shape rect,#mermaid-svg-XEYldVf0g06hcni2 .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-XEYldVf0g06hcni2 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-XEYldVf0g06hcni2 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-XEYldVf0g06hcni2 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 净化查询
正样本文档
BM25 硬负一
BM25 硬负二
初始模型硬负七
高相似度
表面相关
实际不相关
InfoNCE 损失
嵌入空间优化

图3-3 LENS 的对比学习机制。 红色为查询起点与负样本陷阱，绿色为正样本，橙色为硬负样本，蓝色为损失计算，紫色为优化目标。硬负样本迫使模型在表面相关的文档中识别细微差异，这是技术领域精确检索的核心能力。

在继续分析组件协同之前，我们先澄清一个常见误判：很多人认为对比学习中的负样本越多越好。但 LENS 的配置是 in-batch 负样本加七组硬负样本，总共不到十组。这是因为 InfoNCE 损失的计算复杂度随负样本数量线性增长，而边际收益递减。在工程实现中，负样本的质量（是否真正位于决策边界上）远比数量重要。

3.4 博弈：组件消融与即插即用的权衡空间

BRIDGE 的消融实验揭示了一个清晰的增量贡献链。从 LENS 单独处理原始文本查询的 25.4 开始，加上 GPT-4o 图像描述后提升到 27.8（+2.4），说明视觉信号即使未经对齐也有价值。叠加监督学习的 FORGE 后达到 28.5（+0.7），证明查询压缩本身有帮助，但有限。最后切换到 RL 训练的 FORGE，达到 29.7（+1.2）------这一步是决定性的，说明端到端优化检索奖励才是查询对齐的完整形态。

但故事还有另一面：FORGE 作为即插即用的对齐器，叠加到 Nomic-Vision 上时，系统总分达到 33.3，不仅超过了 BRIDGE 本身（29.7），还超过了最佳纯文本检索器（32.2）。这提出了一个深刻的工程抉择：如果你已经拥有多模态编码器，FORGE 能让它发挥更大价值；但如果你从零构建系统，BRIDGE（FORGE + LENS）提供了更轻量、更模块化的路径，无需承担视觉编码器的部署成本。
#mermaid-svg-lrLCaTLSHVNvtEJr{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-lrLCaTLSHVNvtEJr .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-lrLCaTLSHVNvtEJr .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-lrLCaTLSHVNvtEJr .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-lrLCaTLSHVNvtEJr .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-lrLCaTLSHVNvtEJr .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-lrLCaTLSHVNvtEJr .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-lrLCaTLSHVNvtEJr .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-lrLCaTLSHVNvtEJr .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-lrLCaTLSHVNvtEJr .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-lrLCaTLSHVNvtEJr .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-lrLCaTLSHVNvtEJr .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-lrLCaTLSHVNvtEJr .marker.cross{stroke:#0b0b0b;}#mermaid-svg-lrLCaTLSHVNvtEJr svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-lrLCaTLSHVNvtEJr p{margin:0;}#mermaid-svg-lrLCaTLSHVNvtEJr .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-lrLCaTLSHVNvtEJr .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-lrLCaTLSHVNvtEJr .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-lrLCaTLSHVNvtEJr .cluster-label span p{background-color:transparent;}#mermaid-svg-lrLCaTLSHVNvtEJr .label text,#mermaid-svg-lrLCaTLSHVNvtEJr span{fill:#333;color:#333;}#mermaid-svg-lrLCaTLSHVNvtEJr .node rect,#mermaid-svg-lrLCaTLSHVNvtEJr .node circle,#mermaid-svg-lrLCaTLSHVNvtEJr .node ellipse,#mermaid-svg-lrLCaTLSHVNvtEJr .node polygon,#mermaid-svg-lrLCaTLSHVNvtEJr .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-lrLCaTLSHVNvtEJr .rough-node .label text,#mermaid-svg-lrLCaTLSHVNvtEJr .node .label text,#mermaid-svg-lrLCaTLSHVNvtEJr .image-shape .label,#mermaid-svg-lrLCaTLSHVNvtEJr .icon-shape .label{text-anchor:middle;}#mermaid-svg-lrLCaTLSHVNvtEJr .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-lrLCaTLSHVNvtEJr .rough-node .label,#mermaid-svg-lrLCaTLSHVNvtEJr .node .label,#mermaid-svg-lrLCaTLSHVNvtEJr .image-shape .label,#mermaid-svg-lrLCaTLSHVNvtEJr .icon-shape .label{text-align:center;}#mermaid-svg-lrLCaTLSHVNvtEJr .node.clickable{cursor:pointer;}#mermaid-svg-lrLCaTLSHVNvtEJr .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-lrLCaTLSHVNvtEJr .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-lrLCaTLSHVNvtEJr .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-lrLCaTLSHVNvtEJr .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-lrLCaTLSHVNvtEJr .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-lrLCaTLSHVNvtEJr .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-lrLCaTLSHVNvtEJr .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-lrLCaTLSHVNvtEJr .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-lrLCaTLSHVNvtEJr .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-lrLCaTLSHVNvtEJr .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-lrLCaTLSHVNvtEJr .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-lrLCaTLSHVNvtEJr div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-lrLCaTLSHVNvtEJr .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-lrLCaTLSHVNvtEJr rect.text{fill:none;stroke-width:0;}#mermaid-svg-lrLCaTLSHVNvtEJr .icon-shape,#mermaid-svg-lrLCaTLSHVNvtEJr .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-lrLCaTLSHVNvtEJr .icon-shape p,#mermaid-svg-lrLCaTLSHVNvtEJr .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-lrLCaTLSHVNvtEJr .icon-shape rect,#mermaid-svg-lrLCaTLSHVNvtEJr .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-lrLCaTLSHVNvtEJr .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-lrLCaTLSHVNvtEJr .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-lrLCaTLSHVNvtEJr :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 即插即用
BM25 八点五
+FORGE 十五点八
Nomic 二七点六
+FORGE 三三点三
GME 二二点零
+FORGE 二八点三
消融链
原始文本二五点四
+图像描述二七点八
+监督 FORGE 二八点五
+RL FORGE 二九点七

图3-4 组件消融与即插即用增益矩阵。 灰色为基线，橙色为视觉信号增益，蓝色为监督对齐增益，绿色为 RL 对齐增益与即插即用收益。红色为最优组合（FORGE + Nomic-Vision），但需要多模态编码器成本。BRIDGE 路径以更低成本接近该天花板。

原创工程观点5：查询对齐的收益在弱检索器上更大。BM25 加 FORGE 提升了 7.3 点，而 LENS 加 FORGE 只提升 4.3 点。这说明查询质量是检索系统的杠杆点------基础检索器越弱，查询净化的边际收益越高。对于资源受限的场景，优先投资查询对齐比升级检索器基础设施更划算。

3.5 闭环：系统部署的物理意义

BRIDGE 在实际物理系统中意味着一种全新的架构选择。传统多模态检索系统需要：视觉编码器服务、多模态向量数据库、跨模态索引同步、以及高昂的 GPU 常驻成本。BRIDGE 系统只需要：一个轻量的 FORGE 服务（7B 模型，可量化部署）、一个标准的文本向量数据库、以及 LENS 嵌入服务（4B 模型）。

更关键的是，FORGE 和 LENS 可以独立演进。你可以先部署 FORGE 对接现有的 Elasticsearch 集群，立即获得多模态查询能力；后续再引入 LENS 替换标准嵌入模型，进一步提升精度。这种模块化解耦让系统升级路径从"大爆炸式替换"变成了"渐进式增强"。
#mermaid-svg-SXhpOfv70UEnlTCH{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-SXhpOfv70UEnlTCH .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-SXhpOfv70UEnlTCH .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-SXhpOfv70UEnlTCH .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-SXhpOfv70UEnlTCH .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-SXhpOfv70UEnlTCH .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-SXhpOfv70UEnlTCH .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-SXhpOfv70UEnlTCH .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-SXhpOfv70UEnlTCH .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-SXhpOfv70UEnlTCH .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-SXhpOfv70UEnlTCH .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-SXhpOfv70UEnlTCH .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-SXhpOfv70UEnlTCH .marker.cross{stroke:#0b0b0b;}#mermaid-svg-SXhpOfv70UEnlTCH svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-SXhpOfv70UEnlTCH p{margin:0;}#mermaid-svg-SXhpOfv70UEnlTCH .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-SXhpOfv70UEnlTCH .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-SXhpOfv70UEnlTCH .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-SXhpOfv70UEnlTCH .cluster-label span p{background-color:transparent;}#mermaid-svg-SXhpOfv70UEnlTCH .label text,#mermaid-svg-SXhpOfv70UEnlTCH span{fill:#333;color:#333;}#mermaid-svg-SXhpOfv70UEnlTCH .node rect,#mermaid-svg-SXhpOfv70UEnlTCH .node circle,#mermaid-svg-SXhpOfv70UEnlTCH .node ellipse,#mermaid-svg-SXhpOfv70UEnlTCH .node polygon,#mermaid-svg-SXhpOfv70UEnlTCH .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-SXhpOfv70UEnlTCH .rough-node .label text,#mermaid-svg-SXhpOfv70UEnlTCH .node .label text,#mermaid-svg-SXhpOfv70UEnlTCH .image-shape .label,#mermaid-svg-SXhpOfv70UEnlTCH .icon-shape .label{text-anchor:middle;}#mermaid-svg-SXhpOfv70UEnlTCH .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-SXhpOfv70UEnlTCH .rough-node .label,#mermaid-svg-SXhpOfv70UEnlTCH .node .label,#mermaid-svg-SXhpOfv70UEnlTCH .image-shape .label,#mermaid-svg-SXhpOfv70UEnlTCH .icon-shape .label{text-align:center;}#mermaid-svg-SXhpOfv70UEnlTCH .node.clickable{cursor:pointer;}#mermaid-svg-SXhpOfv70UEnlTCH .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-SXhpOfv70UEnlTCH .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-SXhpOfv70UEnlTCH .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-SXhpOfv70UEnlTCH .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-SXhpOfv70UEnlTCH .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-SXhpOfv70UEnlTCH .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-SXhpOfv70UEnlTCH .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-SXhpOfv70UEnlTCH .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-SXhpOfv70UEnlTCH .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-SXhpOfv70UEnlTCH .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-SXhpOfv70UEnlTCH .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-SXhpOfv70UEnlTCH div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-SXhpOfv70UEnlTCH .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-SXhpOfv70UEnlTCH rect.text{fill:none;stroke-width:0;}#mermaid-svg-SXhpOfv70UEnlTCH .icon-shape,#mermaid-svg-SXhpOfv70UEnlTCH .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-SXhpOfv70UEnlTCH .icon-shape p,#mermaid-svg-SXhpOfv70UEnlTCH .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-SXhpOfv70UEnlTCH .icon-shape rect,#mermaid-svg-SXhpOfv70UEnlTCH .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-SXhpOfv70UEnlTCH .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-SXhpOfv70UEnlTCH .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-SXhpOfv70UEnlTCH :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 传统架构
视觉编码器
多模态向量库
高 GPU 成本
BRIDGE 架构
FORGE 七B
标准文本库
LENS 四B
可独立演进
渐进部署

图3-5 BRIDGE 架构的演化路径。 灰色为传统架构，红色为其成本瓶颈，绿色为 BRIDGE 路径，蓝色为可独立部署的组件，紫色为渐进式落地终态。BRIDGE 将多模态检索从一体化架构解耦为可独立升级的模块化服务。

这在实际物理系统中意味着什么？意味着一个中小型技术团队可以在一周内为现有的文档检索系统增加多模态查询能力，而无需重构整个向量基础设施。FORGE 接收用户的截图和描述，输出标准查询字符串，剩下的就是已有的文本检索链路。这是工程上的"最小侵入式升级"。

本章检查清单

能够绘制 BRIDGE 三阶段流水线并说明每个阶段的模态转换
能够解释为什么 LENS 需要推理密集型数据微调而非通用语义数据
能够计算组件消融的增量贡献（视觉 +2.4，监督 +0.7，RL +1.2）
能够判断业务场景应选择 BRIDGE 路径还是 FORGE+现有检索器路径
理解硬负样本质量优于数量的工程原则
能够设计渐进式部署方案（先 FORGE 后 LENS）

第4章 MM-BRIGHT 实验洞察与工程边界

4.1 破冰：29 个技术领域的检索挑战

MM-BRIGHT 不是普通的检索基准。它包含 2803 个查询，横跨 29 个技术领域------从 Ubuntu 服务器排错、加密货币交易、到量子计算和机器人学。每个查询都是多模态的：用户提供一个文本问题和一个相关图像（截图、图表、分子结构、代码片段等），系统需要从纯文本语料库中检索出相关文档。

这个基准的设计意图是逼出检索系统的真实极限。在 Gaming 领域，查询可能包含游戏界面截图和"如何通关"的口语化描述；在 Law 领域，查询可能包含法律条文截图和"这条如何解释"的问题；在 Biology 领域，查询可能包含蛋白质结构图和"这个折叠意味着什么"的提问。这些场景的共同点是：视觉信息携带了关键线索，但文本问题往往口语化、不完整、甚至误导。
#mermaid-svg-wNSdnC83DyI0OG8F{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-wNSdnC83DyI0OG8F .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-wNSdnC83DyI0OG8F .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-wNSdnC83DyI0OG8F .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-wNSdnC83DyI0OG8F .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-wNSdnC83DyI0OG8F .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-wNSdnC83DyI0OG8F .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-wNSdnC83DyI0OG8F .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-wNSdnC83DyI0OG8F .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-wNSdnC83DyI0OG8F .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-wNSdnC83DyI0OG8F .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-wNSdnC83DyI0OG8F .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-wNSdnC83DyI0OG8F .marker.cross{stroke:#0b0b0b;}#mermaid-svg-wNSdnC83DyI0OG8F svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-wNSdnC83DyI0OG8F p{margin:0;}#mermaid-svg-wNSdnC83DyI0OG8F .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-wNSdnC83DyI0OG8F .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-wNSdnC83DyI0OG8F .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-wNSdnC83DyI0OG8F .cluster-label span p{background-color:transparent;}#mermaid-svg-wNSdnC83DyI0OG8F .label text,#mermaid-svg-wNSdnC83DyI0OG8F span{fill:#333;color:#333;}#mermaid-svg-wNSdnC83DyI0OG8F .node rect,#mermaid-svg-wNSdnC83DyI0OG8F .node circle,#mermaid-svg-wNSdnC83DyI0OG8F .node ellipse,#mermaid-svg-wNSdnC83DyI0OG8F .node polygon,#mermaid-svg-wNSdnC83DyI0OG8F .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-wNSdnC83DyI0OG8F .rough-node .label text,#mermaid-svg-wNSdnC83DyI0OG8F .node .label text,#mermaid-svg-wNSdnC83DyI0OG8F .image-shape .label,#mermaid-svg-wNSdnC83DyI0OG8F .icon-shape .label{text-anchor:middle;}#mermaid-svg-wNSdnC83DyI0OG8F .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-wNSdnC83DyI0OG8F .rough-node .label,#mermaid-svg-wNSdnC83DyI0OG8F .node .label,#mermaid-svg-wNSdnC83DyI0OG8F .image-shape .label,#mermaid-svg-wNSdnC83DyI0OG8F .icon-shape .label{text-align:center;}#mermaid-svg-wNSdnC83DyI0OG8F .node.clickable{cursor:pointer;}#mermaid-svg-wNSdnC83DyI0OG8F .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-wNSdnC83DyI0OG8F .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-wNSdnC83DyI0OG8F .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-wNSdnC83DyI0OG8F .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-wNSdnC83DyI0OG8F .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-wNSdnC83DyI0OG8F .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-wNSdnC83DyI0OG8F .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-wNSdnC83DyI0OG8F .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-wNSdnC83DyI0OG8F .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-wNSdnC83DyI0OG8F .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-wNSdnC83DyI0OG8F .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-wNSdnC83DyI0OG8F div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-wNSdnC83DyI0OG8F .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-wNSdnC83DyI0OG8F rect.text{fill:none;stroke-width:0;}#mermaid-svg-wNSdnC83DyI0OG8F .icon-shape,#mermaid-svg-wNSdnC83DyI0OG8F .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-wNSdnC83DyI0OG8F .icon-shape p,#mermaid-svg-wNSdnC83DyI0OG8F .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-wNSdnC83DyI0OG8F .icon-shape rect,#mermaid-svg-wNSdnC83DyI0OG8F .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-wNSdnC83DyI0OG8F .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-wNSdnC83DyI0OG8F .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-wNSdnC83DyI0OG8F :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} MM-BRIGHT
二千八百零三查询
二十九个领域
Ubuntu 排错
法律条文
生物结构
量子计算
截图密集
文本主导
图表关键
概念抽象
视觉信号强
视觉装饰性

图4-1 MM-BRIGHT 的领域分类与视觉信号强度。 红色为基准根节点与装饰性视觉领域，黄色为规模属性，橙色为领域分组，蓝色为具体领域，绿色为视觉信号强的领域。Ubuntu、Biology、Travel 等领域视觉信息密度高，而 Law、Math 等领域视觉多为装饰。

认知检查点：MM-BRIGHT 的 29 个领域不是均匀分布的测试集，而是视觉信号强度差异巨大的挑战谱系------在 Ubuntu 和 Biology 领域，截图是核心信息载体；在 Law 和 Mathematics 领域，视觉内容往往是装饰性的。统一的检索策略必然在某些领域失效，这是评估多模态检索系统时必须审视的结构性假设。

4.2 建图：性能全景与领域级模式

BRIDGE 在 29 个领域中的 22 个取得了最高分，总体 nDCG@10 为 29.7。绝对性能最强的五个领域是 Ubuntu（50.4）、Travel（45.7）、Gaming（45.2）、Biology（41.1）和 Law（40.2）。这些数字背后有一个清晰的模式：在视觉信息承载具体技术细节的领域（如终端截图、游戏界面、生物结构图），BRIDGE 的优势最大。

对比 BRIDGE 与 Nomic-Vision 的领域级差异，我们发现最大的增益出现在 Ubuntu（+16.1）、Biology（+14.2）、Cryptocurrency（+9.0）和 Travel（+9.0）。这些领域的共同特征是图像包含大量结构化信息（错误代码、分子结构、交易界面、地图路线），而文本问题往往口语化且不完整。FORGE 通过提取图像中的精确术语并压缩查询，弥补了文本问题的信息缺失。

但 BRIDGE 并非在所有领域都领先。在 Law（40.2 vs 47.6）、Mathematics（31.9 vs 34.0）和 Apple Support（21.3 vs 28.7）领域，Nomic-Vision 反而更好。原因是这些领域的视觉内容相对装饰性------法律查询的核心是条文文本，数学查询的核心是公式推导，截图只是辅助说明。当视觉信号弱时，FORGE 的图像描述环节引入了额外噪声，而多模态编码器可以直接从原始图像中选择性提取信息。
#mermaid-svg-PCa88QjFbq54VAE1{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-PCa88QjFbq54VAE1 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-PCa88QjFbq54VAE1 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-PCa88QjFbq54VAE1 .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-PCa88QjFbq54VAE1 .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-PCa88QjFbq54VAE1 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-PCa88QjFbq54VAE1 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-PCa88QjFbq54VAE1 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-PCa88QjFbq54VAE1 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-PCa88QjFbq54VAE1 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-PCa88QjFbq54VAE1 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-PCa88QjFbq54VAE1 .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-PCa88QjFbq54VAE1 .marker.cross{stroke:#0b0b0b;}#mermaid-svg-PCa88QjFbq54VAE1 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-PCa88QjFbq54VAE1 p{margin:0;}#mermaid-svg-PCa88QjFbq54VAE1 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-PCa88QjFbq54VAE1 .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-PCa88QjFbq54VAE1 .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-PCa88QjFbq54VAE1 .cluster-label span p{background-color:transparent;}#mermaid-svg-PCa88QjFbq54VAE1 .label text,#mermaid-svg-PCa88QjFbq54VAE1 span{fill:#333;color:#333;}#mermaid-svg-PCa88QjFbq54VAE1 .node rect,#mermaid-svg-PCa88QjFbq54VAE1 .node circle,#mermaid-svg-PCa88QjFbq54VAE1 .node ellipse,#mermaid-svg-PCa88QjFbq54VAE1 .node polygon,#mermaid-svg-PCa88QjFbq54VAE1 .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-PCa88QjFbq54VAE1 .rough-node .label text,#mermaid-svg-PCa88QjFbq54VAE1 .node .label text,#mermaid-svg-PCa88QjFbq54VAE1 .image-shape .label,#mermaid-svg-PCa88QjFbq54VAE1 .icon-shape .label{text-anchor:middle;}#mermaid-svg-PCa88QjFbq54VAE1 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-PCa88QjFbq54VAE1 .rough-node .label,#mermaid-svg-PCa88QjFbq54VAE1 .node .label,#mermaid-svg-PCa88QjFbq54VAE1 .image-shape .label,#mermaid-svg-PCa88QjFbq54VAE1 .icon-shape .label{text-align:center;}#mermaid-svg-PCa88QjFbq54VAE1 .node.clickable{cursor:pointer;}#mermaid-svg-PCa88QjFbq54VAE1 .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-PCa88QjFbq54VAE1 .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-PCa88QjFbq54VAE1 .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-PCa88QjFbq54VAE1 .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-PCa88QjFbq54VAE1 .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-PCa88QjFbq54VAE1 .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-PCa88QjFbq54VAE1 .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-PCa88QjFbq54VAE1 .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-PCa88QjFbq54VAE1 .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-PCa88QjFbq54VAE1 .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-PCa88QjFbq54VAE1 .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-PCa88QjFbq54VAE1 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-PCa88QjFbq54VAE1 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-PCa88QjFbq54VAE1 rect.text{fill:none;stroke-width:0;}#mermaid-svg-PCa88QjFbq54VAE1 .icon-shape,#mermaid-svg-PCa88QjFbq54VAE1 .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-PCa88QjFbq54VAE1 .icon-shape p,#mermaid-svg-PCa88QjFbq54VAE1 .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-PCa88QjFbq54VAE1 .icon-shape rect,#mermaid-svg-PCa88QjFbq54VAE1 .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-PCa88QjFbq54VAE1 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-PCa88QjFbq54VAE1 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-PCa88QjFbq54VAE1 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 高
低
低增益领域
Law 负七点四
条文文本主
Math 负二点一
公式推导核
高增益领域
Ubuntu 加十六点一
截图信息密
Biology 加十四点二
图表结构清
视觉信号强度
FORGE 增益
大幅领先
小幅落后

图4-2 领域级性能模式与视觉信号强度的耦合。 红色为视觉信号根因与落后领域，橙色为增益函数，绿色为大幅领先领域。BRIDGE 的优势与视觉信息密度成正比，在视觉装饰性领域反而因描述噪声而受损。

原创工程观点6：多模态检索系统的领域适配不是超参数问题，而是架构路径问题。对于视觉密集型领域（软件排错、生物图表），BRIDGE 的查询对齐路径最优；对于文本密集型领域（法律、数学），原生多模态编码器的端到端特征提取反而更可靠。不存在通用最优解，领域特征决定了架构选择。

4.3 深入分析：FORGE 与其他查询重写方法的失败模式对比

为了验证 FORGE 的 RL 训练是否必要，作者对比了多个查询重写基线，所有基线都使用 LENS 作为底层检索器。HyDE（Hypothetical Document Embedding）生成假设文档来扩展查询，得分仅 11.2；Query2Doc 生成伪文档扩展，得分 14.5。两者不仅远低于 FORGE-RL 的 29.7，甚至低于原始文本查询的 25.4。

为什么这些成熟的查询扩展方法在多模态场景下彻底失效？核心原因是它们的设计假设与多模态查询的噪声结构冲突。HyDE 和 Query2Doc 假设查询信息不足，需要生成额外内容来扩展召回。但多模态查询的问题不是信息不足，而是信息过度纠缠------原始输入已经很长（文本问题 + 图像描述），扩展方法进一步增加了长度，导致噪声在嵌入空间中更加主导。

FORGE 走的是完全相反的路径：蒸馏而非扩展。它从冗长纠缠的输入中提取不超过 200 词的核心检索意图，主动丢弃对话填充词和模糊视觉描述。这种"减法策略"在标准文本检索中可能过度激进，但在多模态查询中恰好对症。
#mermaid-svg-uNNE7lUrx27DzRun{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-uNNE7lUrx27DzRun .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-uNNE7lUrx27DzRun .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-uNNE7lUrx27DzRun .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-uNNE7lUrx27DzRun .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-uNNE7lUrx27DzRun .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-uNNE7lUrx27DzRun .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-uNNE7lUrx27DzRun .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-uNNE7lUrx27DzRun .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-uNNE7lUrx27DzRun .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-uNNE7lUrx27DzRun .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-uNNE7lUrx27DzRun .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-uNNE7lUrx27DzRun .marker.cross{stroke:#0b0b0b;}#mermaid-svg-uNNE7lUrx27DzRun svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-uNNE7lUrx27DzRun p{margin:0;}#mermaid-svg-uNNE7lUrx27DzRun .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-uNNE7lUrx27DzRun .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-uNNE7lUrx27DzRun .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-uNNE7lUrx27DzRun .cluster-label span p{background-color:transparent;}#mermaid-svg-uNNE7lUrx27DzRun .label text,#mermaid-svg-uNNE7lUrx27DzRun span{fill:#333;color:#333;}#mermaid-svg-uNNE7lUrx27DzRun .node rect,#mermaid-svg-uNNE7lUrx27DzRun .node circle,#mermaid-svg-uNNE7lUrx27DzRun .node ellipse,#mermaid-svg-uNNE7lUrx27DzRun .node polygon,#mermaid-svg-uNNE7lUrx27DzRun .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-uNNE7lUrx27DzRun .rough-node .label text,#mermaid-svg-uNNE7lUrx27DzRun .node .label text,#mermaid-svg-uNNE7lUrx27DzRun .image-shape .label,#mermaid-svg-uNNE7lUrx27DzRun .icon-shape .label{text-anchor:middle;}#mermaid-svg-uNNE7lUrx27DzRun .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-uNNE7lUrx27DzRun .rough-node .label,#mermaid-svg-uNNE7lUrx27DzRun .node .label,#mermaid-svg-uNNE7lUrx27DzRun .image-shape .label,#mermaid-svg-uNNE7lUrx27DzRun .icon-shape .label{text-align:center;}#mermaid-svg-uNNE7lUrx27DzRun .node.clickable{cursor:pointer;}#mermaid-svg-uNNE7lUrx27DzRun .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-uNNE7lUrx27DzRun .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-uNNE7lUrx27DzRun .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-uNNE7lUrx27DzRun .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-uNNE7lUrx27DzRun .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-uNNE7lUrx27DzRun .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-uNNE7lUrx27DzRun .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-uNNE7lUrx27DzRun .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-uNNE7lUrx27DzRun .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-uNNE7lUrx27DzRun .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-uNNE7lUrx27DzRun .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-uNNE7lUrx27DzRun div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-uNNE7lUrx27DzRun .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-uNNE7lUrx27DzRun rect.text{fill:none;stroke-width:0;}#mermaid-svg-uNNE7lUrx27DzRun .icon-shape,#mermaid-svg-uNNE7lUrx27DzRun .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-uNNE7lUrx27DzRun .icon-shape p,#mermaid-svg-uNNE7lUrx27DzRun .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-uNNE7lUrx27DzRun .icon-shape rect,#mermaid-svg-uNNE7lUrx27DzRun .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-uNNE7lUrx27DzRun .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-uNNE7lUrx27DzRun .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-uNNE7lUrx27DzRun :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 原始查询
信息纠缠
HyDE 扩展
Query2Doc 扩展
FORGE 蒸馏
噪声放大
意图聚焦
检索失败
检索成功
方法假设
信息不足需扩展
信息过度需蒸馏

图4-3 查询重写方法的失败模式对比。 红色为噪声路径与失败方法，橙色为纠缠根因，绿色为蒸馏路径与正确假设，紫色为终果。扩展方法假设信息不足，在多模态场景中反而放大噪声；FORGE 的蒸馏假设与问题结构精准匹配。

GPT-4o 的零样本重写达到 29.6，与 FORGE-RL 的 29.7 基本持平。这说明查询蒸馏任务本身不需要超大规模模型，关键在于训练目标是否与检索质量对齐。7B 模型的 RL 优化可以匹敌前沿模型的通用能力，这再次验证了任务特定训练信号的效率。

4.4 博弈：部署路径的决策分支

面对 BRIDGE 的实验结果，工程团队需要做一个关键决策：选择哪条部署路径？实验数据给出了四条可行路径，每条都有不同的成本-精度权衡。

路径一：BRIDGE 完整系统（FORGE + LENS），精度 29.7，无需多模态编码器，适合从零构建的轻量系统。路径二：FORGE + Nomic-Vision，精度 33.3，但需要多模态编码器的部署成本和 GPU 常驻内存，适合已有视觉基础设施的团队。路径三：FORGE + 现有文本检索器（如 BM25），精度 15.8，成本低但精度有限，适合快速原型验证。路径四：纯多模态编码器（Nomic-Vision），精度 27.6，无需查询对齐但受限于模态差距。
#mermaid-svg-DSXOtyfQSoevwIbC{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-DSXOtyfQSoevwIbC .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-DSXOtyfQSoevwIbC .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-DSXOtyfQSoevwIbC .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-DSXOtyfQSoevwIbC .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-DSXOtyfQSoevwIbC .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-DSXOtyfQSoevwIbC .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-DSXOtyfQSoevwIbC .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-DSXOtyfQSoevwIbC .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-DSXOtyfQSoevwIbC .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-DSXOtyfQSoevwIbC .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-DSXOtyfQSoevwIbC .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-DSXOtyfQSoevwIbC .marker.cross{stroke:#0b0b0b;}#mermaid-svg-DSXOtyfQSoevwIbC svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-DSXOtyfQSoevwIbC p{margin:0;}#mermaid-svg-DSXOtyfQSoevwIbC .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-DSXOtyfQSoevwIbC .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-DSXOtyfQSoevwIbC .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-DSXOtyfQSoevwIbC .cluster-label span p{background-color:transparent;}#mermaid-svg-DSXOtyfQSoevwIbC .label text,#mermaid-svg-DSXOtyfQSoevwIbC span{fill:#333;color:#333;}#mermaid-svg-DSXOtyfQSoevwIbC .node rect,#mermaid-svg-DSXOtyfQSoevwIbC .node circle,#mermaid-svg-DSXOtyfQSoevwIbC .node ellipse,#mermaid-svg-DSXOtyfQSoevwIbC .node polygon,#mermaid-svg-DSXOtyfQSoevwIbC .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-DSXOtyfQSoevwIbC .rough-node .label text,#mermaid-svg-DSXOtyfQSoevwIbC .node .label text,#mermaid-svg-DSXOtyfQSoevwIbC .image-shape .label,#mermaid-svg-DSXOtyfQSoevwIbC .icon-shape .label{text-anchor:middle;}#mermaid-svg-DSXOtyfQSoevwIbC .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-DSXOtyfQSoevwIbC .rough-node .label,#mermaid-svg-DSXOtyfQSoevwIbC .node .label,#mermaid-svg-DSXOtyfQSoevwIbC .image-shape .label,#mermaid-svg-DSXOtyfQSoevwIbC .icon-shape .label{text-align:center;}#mermaid-svg-DSXOtyfQSoevwIbC .node.clickable{cursor:pointer;}#mermaid-svg-DSXOtyfQSoevwIbC .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-DSXOtyfQSoevwIbC .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-DSXOtyfQSoevwIbC .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-DSXOtyfQSoevwIbC .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-DSXOtyfQSoevwIbC .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-DSXOtyfQSoevwIbC .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-DSXOtyfQSoevwIbC .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-DSXOtyfQSoevwIbC .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-DSXOtyfQSoevwIbC .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-DSXOtyfQSoevwIbC .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-DSXOtyfQSoevwIbC .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-DSXOtyfQSoevwIbC div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-DSXOtyfQSoevwIbC .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-DSXOtyfQSoevwIbC rect.text{fill:none;stroke-width:0;}#mermaid-svg-DSXOtyfQSoevwIbC .icon-shape,#mermaid-svg-DSXOtyfQSoevwIbC .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-DSXOtyfQSoevwIbC .icon-shape p,#mermaid-svg-DSXOtyfQSoevwIbC .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-DSXOtyfQSoevwIbC .icon-shape rect,#mermaid-svg-DSXOtyfQSoevwIbC .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-DSXOtyfQSoevwIbC .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-DSXOtyfQSoevwIbC .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-DSXOtyfQSoevwIbC :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 是
否
是
否
部署决策
已有视觉编码器？
FORGE + Nomic
精度三三点三
从零构建？
BRIDGE 完整
精度二九点七
FORGE + 现有检索器
快速原型
成本约束
七B 本地部署

图4-4 BRIDGE 系统的部署决策分支。 红色为决策起点，橙色为条件判断，绿色为推荐路径，蓝色为快速原型路径，紫色为精度终果。已有视觉基础设施的团队选 FORGE+Nomic 追求天花板；从零构建的团队选 BRIDGE 完整系统获得最佳性价比。

原创工程观点7：查询对齐是检索系统的"杠杆资产"------它对弱基线的提升幅度（BM25 +7.3 点）远大于对强基线的提升（LENS +4.3 点）。这意味着在资源受限或系统早期阶段，优先部署 FORGE 的投入产出比最高。随着基线检索器升级，FORGE 的边际收益递减，但始终为正。

4.5 闭环：工程落地的最终判断

BRIDGE 的实验证据指向一个清晰的工程结论：多模态到文本检索的模态差距已经从 4.6 点（Nomic-Vision vs 纯文本最佳）压缩到 2.5 点（BRIDGE vs 纯文本最佳），相对缩小了 46%。剩余的差距不是视觉理解问题，而是查询表示问题------只要我们能进一步净化查询、压缩噪声、聚焦意图，这个差距可以继续缩小。

这在实际物理系统中意味着三个可执行的动作。第一，审计现有系统的查询链路：用户的原始输入是否被直接编码？是否存在对话噪声污染？第二，评估领域特征：你的应用场景是视觉密集型（截图、图表）还是文本密集型（法律、数学）？前者优先采用 BRIDGE 路径，后者保留原生多模态编码器。第三，规划渐进部署：先以 FORGE 作为查询网关接入现有检索器，验证收益后再考虑引入 LENS 替换嵌入模型。
#mermaid-svg-H8H09IPoP6b3lcee{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-H8H09IPoP6b3lcee .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-H8H09IPoP6b3lcee .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-H8H09IPoP6b3lcee .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-H8H09IPoP6b3lcee .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-H8H09IPoP6b3lcee .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-H8H09IPoP6b3lcee .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-H8H09IPoP6b3lcee .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-H8H09IPoP6b3lcee .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-H8H09IPoP6b3lcee .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-H8H09IPoP6b3lcee .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-H8H09IPoP6b3lcee .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-H8H09IPoP6b3lcee .marker.cross{stroke:#0b0b0b;}#mermaid-svg-H8H09IPoP6b3lcee svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:30px;}#mermaid-svg-H8H09IPoP6b3lcee p{margin:0;}#mermaid-svg-H8H09IPoP6b3lcee .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-H8H09IPoP6b3lcee .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-H8H09IPoP6b3lcee .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-H8H09IPoP6b3lcee .cluster-label span p{background-color:transparent;}#mermaid-svg-H8H09IPoP6b3lcee .label text,#mermaid-svg-H8H09IPoP6b3lcee span{fill:#333;color:#333;}#mermaid-svg-H8H09IPoP6b3lcee .node rect,#mermaid-svg-H8H09IPoP6b3lcee .node circle,#mermaid-svg-H8H09IPoP6b3lcee .node ellipse,#mermaid-svg-H8H09IPoP6b3lcee .node polygon,#mermaid-svg-H8H09IPoP6b3lcee .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-H8H09IPoP6b3lcee .rough-node .label text,#mermaid-svg-H8H09IPoP6b3lcee .node .label text,#mermaid-svg-H8H09IPoP6b3lcee .image-shape .label,#mermaid-svg-H8H09IPoP6b3lcee .icon-shape .label{text-anchor:middle;}#mermaid-svg-H8H09IPoP6b3lcee .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-H8H09IPoP6b3lcee .rough-node .label,#mermaid-svg-H8H09IPoP6b3lcee .node .label,#mermaid-svg-H8H09IPoP6b3lcee .image-shape .label,#mermaid-svg-H8H09IPoP6b3lcee .icon-shape .label{text-align:center;}#mermaid-svg-H8H09IPoP6b3lcee .node.clickable{cursor:pointer;}#mermaid-svg-H8H09IPoP6b3lcee .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-H8H09IPoP6b3lcee .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-H8H09IPoP6b3lcee .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-H8H09IPoP6b3lcee .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-H8H09IPoP6b3lcee .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-H8H09IPoP6b3lcee .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-H8H09IPoP6b3lcee .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-H8H09IPoP6b3lcee .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-H8H09IPoP6b3lcee .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-H8H09IPoP6b3lcee .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-H8H09IPoP6b3lcee .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-H8H09IPoP6b3lcee div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-H8H09IPoP6b3lcee .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-H8H09IPoP6b3lcee rect.text{fill:none;stroke-width:0;}#mermaid-svg-H8H09IPoP6b3lcee .icon-shape,#mermaid-svg-H8H09IPoP6b3lcee .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-H8H09IPoP6b3lcee .icon-shape p,#mermaid-svg-H8H09IPoP6b3lcee .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-H8H09IPoP6b3lcee .icon-shape rect,#mermaid-svg-H8H09IPoP6b3lcee .image-shape rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-H8H09IPoP6b3lcee .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-H8H09IPoP6b3lcee .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-H8H09IPoP6b3lcee :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 工程落地
审计查询链路
评估领域特征
渐进部署
识别噪声源
选择架构路径
先 FORGE 网关
后 LENS 升级
模态差距缩小
持续优化

图4-5 BRIDGE 工程落地的三阶行动链。 红色为起点，蓝色为行动维度，橙色为诊断结果，绿色为执行路径与中间收益，紫色为持续优化终态。查询链路审计是第一步，领域特征决定架构选择，渐进部署降低风险。

BRIDGE 带给我们的最终重构是：多模态检索不是"让机器看懂图像"的问题，而是"让机器理解用户意图"的问题。当用户用截图和口语描述求助时，他们真正需要的是有人帮他们提炼出精准的技术问题。FORGE 做的就是这件事------它不是视觉理解器，而是意图翻译器。而 LENS 是那个精通技术语言的图书管理员，在净化后的意图空间中精准定位答案。

本章检查清单

能够绘制 MM-BRIGHT 的领域分类并识别视觉密集型 vs 文本密集型领域
能够解释为什么 HyDE 和 Query2Doc 在多模态场景中低于原始查询
能够根据业务场景选择四条部署路径之一并说明成本-精度权衡
能够计算 FORGE 对不同基线检索器的边际增益差异（弱基线 +7.3，强基线 +4.3）
理解查询对齐作为"杠杆资产"的投入产出比特性
能够设计三阶段渐进部署方案（审计→网关→升级）

附录：快速复现指南

环境准备

bash 复制代码

# 核心依赖
pip install torch transformers accelerate
pip install sentence-transformers faiss-cpu
pip install rankify  # 若使用 LENS 的检索评估

阶段一：图像描述生成（离线缓存）

python 复制代码

import openai

def generate_caption(image_path, text_query):
    """使用 GPT-4o 生成图像描述，建议离线批量处理并缓存。"""
    response = openai.chat.completions.create(
        model="gpt-4o",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": f"Describe this image in detail for technical retrieval: {text_query}"},
                {"type": "image_url", "image_url": {"url": image_path}}
            ]
        }],
        temperature=0  # 确定性输出，保证可复现
    )
    return response.choices[0].message.content

工程要点：temperature=0 确保描述可复现；所有描述应一次性生成并缓存，避免在线调用延迟。

阶段二：FORGE 推理（查询对齐）

python 复制代码

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B-Instruct")

SYSTEM_PROMPT = """You are a query alignment model for dense retrieval. 
Given a user's text question and an image description, distill them into a 
concise search string (max 200 words) containing only retrieval-critical 
keywords and semantic concepts. Remove conversational noise, filler words, 
and emotional context."""

def forge_align(text_query, image_caption):
    prompt = f"Text question: {text_query}\nImage description: {image_caption}"
    messages = [
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": prompt}
    ]
    inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)
    outputs = model.generate(inputs, max_new_tokens=256, do_sample=False)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

工程要点：do_sample=False 保证确定性输出；max_new_tokens=256 与论文配置一致；系统提示必须明确约束输出风格（紧凑、关键词导向）。

阶段三：LENS 检索（密集检索）

python 复制代码

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

# 加载 LENS（以 Qwen3-Embedding-4B 为例）
lens = SentenceTransformer("Qwen/Qwen3-Embedding-4B")

# 预编码文档库（离线执行）
documents = [...]  # 你的文本语料库
doc_embeddings = lens.encode(documents, normalize_embeddings=True)
index = faiss.IndexFlatIP(doc_embeddings.shape[1])  # 内积相似度 = 余弦相似度（已归一化）
index.add(np.array(doc_embeddings))

# 在线检索
def retrieve(aligned_query, k=10):
    query_emb = lens.encode([aligned_query], normalize_embeddings=True)
    scores, indices = index.search(np.array(query_emb), k)
    return [documents[i] for i in indices[0]]

工程要点：normalize_embeddings=True 确保内积等价于余弦相似度；文档向量应预计算并持久化；温度系数 0.02 在训练时生效，推理时无需额外设置。

端到端流水线

python 复制代码

def bridge_pipeline(image_path, text_query, corpus_index, k=10):
    # 阶段一：图像描述（或从缓存读取）
    caption = get_cached_caption(image_path, text_query)

    # 阶段二：查询对齐
    aligned = forge_align(text_query, caption)

    # 阶段三：密集检索
    results = retrieve(aligned, k=k)

    return aligned, results

训练 FORGE（GRPO 伪代码）

python 复制代码

# 注意：以下为概念性伪代码，展示训练逻辑
# 实际实现需使用 TRL、OpenRLHF 等框架

for batch in dataloader:
    # 1. 采样八组候选查询
    candidates = forge.generate(batch.input, num_return_sequences=8)

    # 2. 用 LENS 评估每组候选的 nDCG
    rewards = []
    for q in candidates:
        ranked_docs = lens.retrieve(q, corpus)
        rewards.append(compute_ndcg(ranked_docs, batch.ground_truth))

    # 3. 组内基线归一化
    baseline = mean(rewards)
    advantages = [r - baseline for r in rewards]

    # 4. GRPO 策略更新
    loss = grpo_loss(candidates, advantages, old_policy)
    loss.backward()
    optimizer.step()

关键超参数：学习率 1e-6，采样组数 G=8，最大输出长度 256 tokens，训练 3 个 epoch，KL 系数 0.001。

BRIDGE：多模态查询的强化学习对齐与文本检索重构

第1章 多模态检索的反直觉困境：查询即瓶颈

1.1 破冰：为什么多模态检索反而输给纯文本？

1.2 建图：BRIDGE 系统的全局认知

1.3 闭环：问题重构与工程判断

本章检查清单

第2章 FORGE：强化学习查询对齐引擎

2.1 破冰：查询噪声如何杀死检索精度？

2.2 建图：FORGE 的训练数据与强化学习框架

2.3 深入分析：GRPO 如何学习查询蒸馏

2.4 博弈：模型规模的非单调曲线与成本权衡

2.5 闭环：FORGE 的工程落地判断

本章检查清单

第3章 LENS 与 BRIDGE 系统协同

3.1 破冰：检索器需要什么样的查询？

3.2 建图：BRIDGE 三阶段流水线的模态转换

3.3 深入分析：LENS 的对比学习与硬负采样

3.4 博弈：组件消融与即插即用的权衡空间

3.5 闭环：系统部署的物理意义

本章检查清单

第4章 MM-BRIGHT 实验洞察与工程边界

4.1 破冰：29 个技术领域的检索挑战

4.2 建图：性能全景与领域级模式

4.3 深入分析：FORGE 与其他查询重写方法的失败模式对比

4.4 博弈：部署路径的决策分支

4.5 闭环：工程落地的最终判断

本章检查清单

附录：快速复现指南

环境准备

阶段一：图像描述生成（离线缓存）

阶段二：FORGE 推理（查询对齐）

阶段三：LENS 检索（密集检索）

端到端流水线

训练 FORGE（GRPO 伪代码）

第1章多模态检索的反直觉困境：查询即瓶颈