这篇论文（CVPR 2026）介绍了一个名为 WeDetect 的模型家族。它的核心思想非常清晰：抛弃传统开放词汇检测中极其耗时的"跨模态深度融合"，回归纯粹的"双塔检索（Retrieval）"架构。
作者认为，开放词汇检测本质上就是图像区域特征与文本特征在共享空间里的检索匹配。基于这个理念，他们用一套统一的框架做出了三个模型，分别解决检测、通用提案生成和复杂指代理解（REC）问题。
以下是这篇论文的详细解析：
code: https://github.com/WeChatCV/WeDetect
一、 核心痛点与破局思路
痛点：融合层拖慢了速度
像 Grounding-DINO 这样的 SOTA 模型，为了对齐图文，在模型内部加了很重的跨模态融合层（Cross-modal fusion layers）。这导致了两个致命问题：
- 极慢：计算量大，且提取的视觉特征不能复用。
- 低效：在 LVIS（1203类）上推理，因为特征每次都要随查询变化，需要分 31 次前向传播，单张图延迟高达几秒。
破局：纯双塔检索架构
WeDetect 采用了类似 CLIP 的双塔架构（视觉塔 + 文本塔），中间没有任何融合层 。分类过程极其简单：直接把图像网格特征和文本特征做点积（Dot Product）。这种做法速度极快，为后续的多种应用打下了基础。
二、 模型家族的三大核心组件
论文提出了三个相互关联的模型，共用一套底层架构（如图 1 所示）：
1. WeDetect：极速的开放词汇检测基础模型
- 架构：视觉端采用 YOLO 风格（ConvNeXt 骨干 + PANet 颈部），文本端采用 XLM-RoBERTa。
- 训练策略 ：
- 数据引擎 ：构建了 1500 万张图片、包含 3.3 亿个边界框的自建数据集。用 SAM 提取 Mask，用微调过的 Qwen2.5-VL 大模型生成多粒度标签（如：动物 -> 狗 -> 一只黄色的狗）。
- 多粒度标签采样：训练时，每次迭代随机从候选标签中抽一个（粗粒度或细粒度），极大地增加了文本多样性，构造了丰富的负样本。
- 三阶段训练：先大尺度图文对比预训练 -> 冻结骨干微调颈部和头部 -> 全参数端到端微调。
2. WeDetect-Uni：通用提案生成器（解锁历史数据回溯）
- 做法 ：冻结 整个 WeDetect 检测器，只训练一个可学习的通用 Objectness Prompt（目标性提示词）。它不需要用户输入类别，就能把图中所有潜在的物体全框出来。
- 神级应用（Object Retrieval 物体检索） ：因为检测器是冻结的，提取出的Box Embedding（框特征）是类别无关但具备判别力的。可以把这些特征提前缓存下来。当用户想找"烟头"时，直接算个点积就能在历史数据库中秒级检索出包含烟头的图片。这对于安防、审核等场景价值巨大。
3. WeDetect-Ref：基于大模型（LMM）的指代理解（REC）
- 痛点 ：传统大模型做 REC（比如"找出左边那个穿红衣服戴帽子的人"），采用自回归的 Next-token prediction 生成坐标。速度慢，且对精确的边界框回归极不敏感。
- 做法 ：把大模型当分类器用！ 先用 WeDetect-Uni 生成 100 个候选框。然后把这些框的 RoI 特征压缩成 Object Token，连同图像 Token 和用户文本输入给 Qwen3-VL。模型不再是逐个生成坐标，而是一次前向传播，输出所有候选框的概率得分（Sigmoid）。
- 优势：完全抛弃了逐字生成的龟速，推理速度提升 13 倍，且直接避免了 LLM 坐标回归不准的缺陷。
三、 惊人的实验结果
- 极致的速度与精度 ：
- WeDetect-Tiny 在 LVIS minival 上达到 37.4 AP（62.5 FPS），完全碾压同级别的 YOLO-World（35.4 AP，54.6 FPS）。
- WeDetect-Large 在 LVIS 上达到 49.4 AP，超越前代 SOTA 模型。
- 大模型首次匹敌传统检测器 ：WeDetect-Ref 4B 在 COCO 数据集上取得了 50.0 AP，这是大模型（LMM）首次在目标检测任务上达到传统检测器的水平。
- 吊打 CLIP 的检索能力 ：在细粒度物体检索任务中，WeDetect-Large-Uni 取得了 83.6 F1 的成绩，而 OpenAI CLIP 只有 46.4。
三、 核心消融实验（为什么有效？）
- 多粒度标签是灵魂（Table 6）：如果去掉粗粒度或细粒度标签，LVIS 性能会掉 1.6 ~ 2.2 AP。粗细结合的标签不仅提供了丰富的监督，还在训练时形成了天然的"难负样本"，逼迫模型学到更细的图文对齐。
- 负样本极其重要（Table 7）：在训练 WeDetect-Ref 时，加入不存在的类别作为负样本，能大幅提升 5.4 AP，逼着大模型学会"拒绝"不存在的目标，而不是瞎框。
- 单 Token 足够（Table 7） ：把每个框的特征变成 25 个 Token 只提升了 0.2 AP，但会导致上下文长度爆炸。由于全图上下文已经保留了足够信息，1 个 Object Token 就足以和文本进行精准匹配。
总结
这篇论文用极其优雅的方式证明了**"大道至简"**。在大家都在拼命往检测器里塞入复杂的图文融合层、或者用大模型痛苦地生成坐标时，WeDetect 证明了：把特征提好，把数据洗干净，用最简单的点积检索，既能做到实时（60+ FPS），又能达到 SOTA，还能顺便解锁"历史数据库秒级检索"和"极速大模型指代理解"这种杀手级应用。