检测视觉大模型：文本提示驱动的开放词汇检测，让AI指哪打哪
你对着一张复杂的工厂车间照片说："检测所有没戴安全帽的工人。"AI立刻在图片上画出一个个红色边界框，精准框出每一个未戴安全帽的工人。你又说："检测所有超过保质期的产品包装盒。"AI同样精准定位------不需要重新训练模型，不需要标注数据，只需要一句自然语言描述。这就是检测视觉大模型（ Detection Vision Large Model **）**正在创造的能力：让目标检测从"固定类别、需要训练"进化到"开放词汇、即问即检"。
传统目标检测模型（YOLO、Faster R-CNN、DETR）只能检测训练数据中包含的固定类别------训练时标注了"猫、狗、汽车"，就只能检测这三类。要检测新类别，必须重新收集数据、标注、训练，成本高昂且周期漫长。而检测视觉大模型通过图文对齐和大规模预训练，学会了将任意自然语言描述与图像中的物体对应起来，实现了开放词汇检测（Open-Vocabulary Detection）和视觉定位（Visual Grounding）------你说什么，它就检测什么。
2025-2026年，检测视觉大模型领域迎来了爆发式发展：一方面，以Grounding DINO 2.0、Florence-2.5为代表的专用开放词汇检测器持续刷新精度纪录；另一方面，以Molmo、Aria、Ferret-2、Qwen2.5-VL为代表的通用视觉大模型不断增强检测和定位能力。更重要的是，两条路线正在快速融合------专用检测器在增加自然语言交互能力，通用VLM在增加标准检测头和后处理。本文将从检测视觉大模型的定义与两大范式出发，全面拆解代表性系统、核心技术架构、基准测试表现、关键挑战与落地应用，帮你建立对这个快速发展领域的完整认知。
一、什么是检测视觉大模型：从固定类别到开放词汇
1.1****定义与核心能力
检测视觉大模型是指将视觉理解与自然语言交互结合，能够根据任意文本提示（Text Prompt）在图像/视频中定位和检测对应物体的大规模预训练模型。与传统目标检测模型相比，其核心能力包括：
- 开放词汇检测（ Open-Vocabulary Detection ）：不受训练类别限制，能检测任意自然语言描述的物体类别；
- 视觉定位（ Visual Grounding / Referring Expression Comprehension ）：根据复杂的自然语言描述（如"穿红色衣服站在车门旁边的人"）定位图像中对应的物体；
- 细粒度空间理解：支持点、框、多边形等多种空间引用形式，能理解"图片左上角的那个物体"这类空间描述；
- 零样本迁移：在未见过的类别和场景上直接检测，无需微调或仅需少量样本微调；
- 多任务统一：同一个模型同时支持检测、分割、描述、OCR、问答等多种视觉任务。
1.2****两大技术范式
当前检测视觉大模型领域存在两大技术范式，它们从不同的起点出发，正在走向融合：
检测视觉大模型两大范式：专用开放词汇检测器 vs 通用视觉大模型，两条路线正在快速融合
范式一：专用开放词汇检测器（ Specialized Open-Vocabulary Detector ）
从传统目标检测出发，通过引入图文对齐模块（CLIP等）和文本提示，将固定类别检测器升级为开放词汇检测器。代表模型包括Grounding DINO系列、Florence-2系列、OWLv2、YOLO-World、GLIP系列等。这类模型有专门的检测头、置信度输出和非极大值抑制（NMS）后处理，检测精度高，在COCO、LVIS等标准检测基准上表现优异，但通常只专注于检测任务，自然语言交互和多任务能力较弱。
范式二：通用视觉大模型（ General Vision-Language Model with Grounding ）
从通用视觉大模型（VLM）出发，通过引入空间引用机制（点、框、坐标token）和检测/定位能力，让通用VLM具备检测和定位能力。代表模型包括Molmo、Aria、Ferret-2、Eagle-2、Qwen-VL系列、InternVL系列、Shikra、Kosmos-2、GLaMM等。这类模型自然语言交互能力强，支持多任务统一（检测+问答+描述+OCR），但通常缺乏标准的检测头、置信度输出和NMS后处理，在标准检测基准上的精度低于专用检测器。
**关键趋势：两条路线正在融合。**2025年以来，专用检测器在增加自然语言交互和多任务能力（Florence-2统一检测+描述+OCR，Grounding DINO支持复杂文本提示），通用VLM在增加标准检测格式和后处理（Molmo输出坐标点和置信度，Aria原生支持grounding，Qwen-VL支持box输出格式）。NeurIPS 2025的Roboflow100-VL基准研究发现，专用检测器仍然持续超越通用VLM，但差距正在缩小------未来的检测视觉大模型很可能是一个统一架构，同时具备专用检测器的精度和通用VLM的交互能力。
二、范式一：专用开放词汇检测器
2.1 Grounding DINO****系列：开放词汇检测的精度标杆
机构：IDEA Research（国际数字经济研究院）
许可证：Apache 2.0
核心思想：将DINO（基于查询的端到端检测器）与CLIP（图文对比学习）的图文对齐能力结合，通过文本提示驱动开放词汇检测。Grounding DINO的核心创新是"语言引导的查询选择"和"跨模态融合"，让文本查询直接参与检测框的回归和分类。
发展历程：
- Grounding DINO（2023）：开山之作，首次实现了基于文本提示的高性能开放词汇检测，在COCO零样本检测上取得SOTA；
- Grounding DINO 1.5（2024）：引入更强的骨干网络和更大规模的训练数据，显著提升了小目标检测和复杂场景的鲁棒性，成为工业界最广泛使用的开放词汇检测器；
- Grounding DINO 2.0（2025）：最新版本，进一步提升了检测精度和推理速度，支持更高分辨率输入和更复杂的文本提示，在LVIS等大词汇量基准上取得新纪录；
- Mask Grounding DINO（NVIDIA TAO）：在Grounding DINO基础上增加了分割头，实现了开放词汇的检测+分割统一；
- MM-GroundingDINO（2025-2026）：多模态版本，支持更丰富的文本提示和视觉提示，在时尚、医疗等垂直领域广泛应用。
核心优势：检测精度高，是开放词汇检测的"精度天花板"；支持任意自然语言提示，包括复杂描述和属性组合；有标准的检测头、置信度输出和NMS后处理；Apache 2.0开源，工业界广泛采用；与SAM（Segment Anything）结合可以实现"检测+分割"的pipeline。
局限性：主要专注于检测任务，自然语言问答和多任务能力弱；推理速度相对较慢（不如YOLO系列实时）；对非常长和复杂的文本提示理解有限；需要与SAM等分割模型配合才能实现分割。
2.2 Florence-2****系列：统一多任务的视觉基础模型
机构：Microsoft（微软）
许可证：MIT
核心思想：用一个统一的编码器-解码器架构，通过不同的文本提示（Prompt）统一支持多种视觉任务，包括目标检测、图像描述、OCR、视觉定位、密集区域描述等。Florence-2的核心创新是"提示驱动的多任务统一"------同一个模型，换一个提示就换一个任务。
发展历程：
- Florence-2（2024.06）：首次发布，基于标准的编码器-解码器Transformer架构，在大规模图文数据上预训练，支持10+种视觉任务，MIT开源，成为多任务视觉模型的代表；
- Florence-2.5（2025）：最新版本，更大规模的训练数据和更强的模型容量，显著提升了检测精度、OCR能力和复杂场景鲁棒性，支持更高分辨率输入；
- Florence-2 variants：包括base、large、base-ft、large-ft等不同规模和微调版本，适配不同算力需求。
检测能力：Florence-2通过特殊的提示格式实现检测，例如：
- <OD>：通用目标检测，输出所有物体的框和标签；
- <CAPTION_TO_PHRASE_GROUNDING>：根据输入描述定位对应的物体；
- <DENSE_REGION_CAPTION>：密集区域描述，输出每个区域的框和描述；
- <REGION_PROPOSAL>：区域提议，输出可能包含物体的候选框。
核心优势：一个模型统一10+种视觉任务（检测+描述+OCR+定位+密集描述），不需要为每个任务单独部署模型；MIT许可证，完全开源商用友好；编码器-解码器架构简洁高效，推理速度快；提示驱动的任务切换非常灵活。
局限性：检测精度略低于Grounding DINO（尤其是小目标和密集场景）；检测输出格式是特殊的token序列，需要后处理解析为标准框格式；对非常精细的检测任务（如医疗影像）需要微调。
2.3****其他代表性专用检测器
|----------------|-----------|------------------------------------------------------|------------|
| 模型 | 机构 | 核心特点 | 许可证 |
| OWLv2 | Google | 零样本目标检测基线，基于ViT的开放词汇检测，Google大规模训练 | Apache 2.0 |
| YOLO-World | 腾讯 | 基于YOLO的实时开放词汇检测，速度极快，适合实时应用 | GPL-3.0 |
| GLIP / GLIPv2 | Microsoft | Grounded Language-Image Pre-training，图文对齐预训练，检测+定位统一 | MIT |
| RT-DETR | 百度 | 实时端到端Transformer检测器，闭词汇但速度极快，常与Grounding DINO配合 | Apache 2.0 |
| RF-DETR | 2026新模型 | 2026年最新实时检测器，COCO上达到60 AP且保持实时速度 | 开源 |
| LocateAnything | NVIDIA | 2026.05最新，并行框解码实现快速高质量VLM定位，VLM-native检测接口 | 开源 |
| PET-DINO | CVPR 2026 | 将视觉提示统一到Grounding DINO，支持视觉+文本提示，小样本检测能力强 | 开源 |
| SAM 3 | Meta | 2025.11发布，概念提示分割，支持自然语言/视觉示例分割，5.2M图像SA-Co数据集 | 开源 |
三、范式二：通用视觉大模型的检测与定位能力
通用视觉大模型（VLM）原本以视觉问答和图像描述为核心任务，但随着空间引用机制的引入，越来越多的VLM开始具备检测和定位能力。这类模型的核心优势是自然语言交互和多任务统一，但在标准检测基准上的精度通常低于专用检测器。
3.1 Molmo**：像素级定位的开源多模态模型**
机构：Allen Institute for AI（艾伦人工智能研究所）
许可证：Apache 2.0
发布时间：2024年9月
核心思想：Molmo（MoLti-MOdal）是一个原生支持像素级定位的开源多模态模型。其核心创新是在训练数据中引入了大量的坐标点标注（通过人类标注和自动生成），让模型学会直接输出图像中物体的坐标点，而不仅仅是文字描述。Molmo支持两种空间引用方式：①用户输入点/框，模型回答关于该区域的问题；②模型回答问题时直接输出相关物体的坐标点。
技术特点：
- 坐标点输出：模型可以直接输出图像中物体的像素坐标（x, y），实现像素级定位；
- 双向空间交互：既支持"点选提问"（用户指定区域，模型回答），也支持"回答定位"（模型回答时自动定位相关物体）；
- 大规模坐标标注数据：训练数据包含数百万个人工标注和自动生成的坐标点，覆盖各种物体和场景；
- 多模型规模：包括Molmo-7B、Molmo-72B等不同规模，适配不同算力需求。
核心优势：像素级定位精度高，是通用VLM中定位能力最强的模型之一；自然语言交互流畅，支持复杂的空间描述；Apache 2.0开源，商用友好；多任务统一（问答+描述+定位+OCR）。
局限性：输出的是坐标点而非标准边界框，需要后处理或与其他模型配合才能得到完整检测框；缺乏置信度输出和NMS后处理，在密集场景下可能出现重复或遗漏；检测精度仍低于Grounding DINO等专用检测器。
3.2 Aria**：** NVIDIA 的原生多模态助手
机构：NVIDIA
许可证：Apache 2.0
发布时间：2025年2月
核心思想：Aria是NVIDIA发布的开源多模态助手，采用10B参数的MoE（混合专家）架构，从设计之初就是原生多模态模型。Aria的核心创新是"原生多模态架构+MoE效率"，在保持10B激活参数的同时，总参数量达到13B，实现了能力与效率的平衡。Aria原生支持视觉定位（grounding），可以输出物体的边界框坐标。
技术特点：
- 原生多模态架构：文本和图像共享同一个Transformer，从预训练阶段就统一建模，不是"视觉编码器+语言模型"的拼接；
- MoE 架构：10B激活参数，13B总参数，8个专家，每次激活2个，推理效率高；
- 原生 grounding 支持：模型可以直接输出物体的边界框坐标，支持文本到框的定位；
- 高分辨率支持：支持最高1008×1008分辨率输入，适合需要细节的检测场景；
- 多语言支持：支持中英文等多种语言的视觉问答和定位。
核心优势：原生多模态架构，模态融合深；MoE架构效率高，10B激活参数达到更大模型的能力；原生支持grounding，输出标准边界框；Apache 2.0开源；NVIDIA生态优化，推理部署友好。
局限性：检测精度仍低于专用检测器；MoE架构对推理框架有一定要求；社区生态和微调工具不如Qwen-VL、LLaVA成熟。
3.3 Ferret-2**：细粒度空间理解的代表**
机构：Apple（苹果）
许可证：开源（非商业）
发布时间：2024-2025年
核心思想：Ferret系列是Apple推出的多模态大模型，核心创新是"细粒度空间引用"------支持点、框、自由形状（scribble）等多种空间引用形式，让用户可以用任意形状在图像中指定区域，模型理解该区域并回答问题。Ferret-2在Ferret基础上进一步提升了空间理解精度和多任务能力。
技术特点：
- 多形状空间引用：支持点（point）、框（box）、自由形状（scribble）等多种空间引用形式，用户可以用任意形状指定区域；
- 空间感知的视觉采样：根据用户指定的空间引用形状，动态采样对应的视觉特征，实现细粒度的区域理解；
- 双向交互：既支持"指定区域提问"，也支持"回答时定位相关区域"；
- 大规模空间引用数据：训练数据包含大量的空间引用标注，覆盖各种形状和场景。
核心优势：细粒度空间理解能力强，支持任意形状的区域引用；自然语言交互流畅；适合需要精确区域理解的场景（如医学影像、工业检测）。
局限性：许可证非商业友好；检测输出格式不标准，需要后处理；社区生态和工具链不如Qwen-VL、LLaVA成熟。
3.4****其他代表性通用 VLM 的检测能力
|---------------------------------|-----------|----------------------------------------------------|------------|
| 模型 | 机构 | 检测/定位能力 | 许可证 |
| Qwen-VL / Qwen2.5-VL / Qwen3-VL | 阿里巴巴 | 原生支持grounding，输出box坐标格式，中文检测能力强，文档/图表检测突出 | Apache 2.0 |
| InternVL / InternVL2/3 | 上海AI Lab | 支持grounding和定位，动态分辨率，多语言，大词汇量检测 | InternLM许可 |
| Shikra / Shikra-2 | 开源社区 | 专门为grounding设计的MLLM，输出坐标和框，referring expression理解强 | 开源 |
| Kosmos-2 | Microsoft | 多模态大语言模型，原生支持phrase grounding，输出短语对应的框 | MIT |
| GLaMM | 开源社区 | Grounded Large Multimodal Model，检测+描述+分割统一，输出框和掩码 | 开源 |
| Eagle / Eagle-2 | 开源社区 | 细粒度感知和推理，支持点/框引用，高分辨率，小目标检测能力强 | 开源 |
| Mini-Gemini | 开源社区 | 细粒度视觉理解，支持高分辨率输入，区域引用和定位 | 开源 |
| GLM-4V / GLM-4.6V | 智谱AI | 中文VLM，支持grounding和定位，Agent能力强，UI界面检测 | 开放权重 |
| Hunyuan-Vision | 腾讯 | 中文VLM，支持视觉定位和grounding，多任务统一 | 开放权重 |
| Step3-VL-10B | 阶跃星辰 | 10B参数超越GLM-4.6V(106B)，感知/识别/复杂推理，检测能力强 | 开放权重 |
| GPT-4o / GPT-4V | OpenAI | 视觉理解能力极强，但检测输出格式不标准，无置信度和NMS，需引导输出坐标 | 闭源API |
| Gemini 1.5/2.0/2.5 | Google | 视觉理解强，WildRoadBench最强VLM(42.1% AP50)，支持视频检测，长上下文 | 闭源API |
| Claude 3.5/4 | Anthropic | 文档/图表理解强，但检测和定位能力相对较弱，无标准检测输出 | 闭源API |
四、核心技术架构对比
检测视觉大模型核心技术架构：视觉编码器→文本编码器→跨模态融合→三种检测头→NMS后处理
4.1****三种检测头设计
检测视觉大模型的核心差异在于检测头（Detection Head）的设计，目前主要有三种范式：
① 基于查询的检测（ Query-based Detection ）
代表：Grounding DINO、DINO、DETR系列
核心思想：用一组可学习的查询（query）从视觉特征中"查询"物体，每个query负责预测一个物体的框和类别。文本提示通过交叉注意力与query交互，实现开放词汇分类。这种设计的优势是检测精度高，有标准的框回归和分类头，支持置信度输出和NMS；劣势是query数量固定，对极多物体的场景可能不够灵活。
② 基于提示的检测（ Prompt-based Detection ）
代表：Florence-2、OWLv2、GLIP
核心思想：将检测任务转化为文本生成任务，通过特殊的提示token（如<OD>、<CAPTION_TO_PHRASE_GROUNDING>）触发检测模式，模型输出包含框坐标和类别的token序列。这种设计的优势是多任务统一（检测+描述+OCR共用一个解码器），架构简洁；劣势是检测输出需要后处理解析，精度略低于query-based方法。
③ 基于引用的检测（ Referring-based Detection ）
代表：Molmo、Ferret-2、Shikra、Kosmos-2、Aria
核心思想：将检测/定位融入通用VLM的对话流程，模型在回答问题时直接输出相关物体的坐标点或边界框。用户可以用自然语言描述（"穿红衣服的人"）或空间引用（点/框/形状）指定要检测的物体。这种设计的优势是自然语言交互流畅，支持复杂的描述和推理；劣势是缺乏标准的检测头、置信度输出和NMS，检测精度低于专用检测器。
4.2****架构维度对比
|-----------------|--------------------------------------------|--------------------------------------|
| 维度 | 专用开放词汇检测器 | 通用VLM（检测能力） |
| 代表模型 | Grounding DINO、Florence-2、OWLv2、YOLO-World | Molmo、Aria、Ferret-2、Qwen-VL、InternVL |
| 架构类型 | 编码器-解码器 / 检测专用Transformer | 解码器-only LLM + 视觉编码器 / 原生多模态 |
| 检测头 | 专用检测头（query-based / prompt-based） | 无专用检测头，坐标作为token输出 |
| 置信度输出 | ✅ 标准置信度分数 | ❌ 通常无置信度（部分模型有） |
| NMS后处理 | ✅ 标准NMS/去重 | ❌ 通常无NMS，可能重复/重叠 |
| 检测精度(COCO/LVIS) | 高（Grounding DINO为标杆） | 中低（RF100-VL显示低于专用检测器） |
| 自然语言交互 | 弱（仅文本提示） | 强（对话式交互、复杂推理） |
| 多任务能力 | 弱（专注检测，Florence-2例外） | 强（检测+问答+描述+OCR+推理） |
| 推理速度 | 中（YOLO-World快，Grounding DINO中等） | 中低（大模型推理成本高） |
| 部署复杂度 | 低（专用模型，标准检测输出） | 中高（需要后处理坐标、解析输出格式） |
| 典型应用 | 工业检测、安防、自动驾驶、机器人感知 | 智能助手、内容理解、UI自动化、教育辅导 |
4.3****融合趋势： VLM-native 检测接口
2025-2026年，一个重要的融合趋势是"VLM-native检测接口"------在通用VLM的架构中引入标准的检测输出格式，让VLM既能保持自然语言交互和多任务能力，又能输出标准的检测框、置信度和NMS后处理。代表工作包括：
- LocateAnything（NVIDIA，2026.05）：提出并行框解码（Parallel Box Decoding），在VLM架构中实现快速高质量的视觉定位，VLM-native接口保留了开放词汇和视觉提示能力，同时输出标准检测框；
- LocateAnything3D（2025.11）：将VLM-native检测扩展到3D，通过Chain-of-Sight实现3D开放词汇检测，在Omni3D基准上达到38.90 AP3D，超越之前最佳13.98；
- PET-DINO（CVPR 2026）：将视觉提示统一到Grounding DINO，支持文本+视觉提示的联合检测，模糊了专用检测器和VLM的边界；
- Molmo + 检测后处理：社区正在为Molmo等VLM开发标准的检测后处理工具（置信度估计、NMS、框解析），让VLM的坐标输出可以直接用于检测任务。
未来的检测视觉大模型很可能是一个统一架构：底层是原生多模态Transformer，中间层支持查询/提示/引用三种检测范式，输出层提供标准的检测框、置信度和NMS，同时保持自然语言交互和多任务能力。
五、基准测试与性能对比
5.1****主流检测基准
|--------------------------------------|-------------------|-------------------------------------------|
| 基准 | 评估内容 | 特点 |
| COCO | 通用目标检测，80类 | 最经典的检测基准，评估mAP，覆盖通用物体 |
| LVIS | 大词汇量实例分割，1200+类 | 长尾分布，评估开放词汇和稀有类别检测能力 |
| ODinW (Object Detection in the Wild) | 35个领域的少样本检测 | 评估跨领域泛化和少样本迁移能力 |
| RefCOCO / RefCOCO+ / RefCOCOg | 指代表达理解 | 根据自然语言描述定位物体，评估视觉定位能力 |
| Flickr30k Entities | 短语定位 | 将描述中的短语定位到图像区域 |
| Roboflow100-VL (RF100-VL) | 多领域VLM检测基准，100+领域 | NeurIPS 2025，专门评估VLM的检测能力，覆盖互联网预训练中不常见的概念 |
| FindIt | 格式感知的通用MLLM检测基准 | 2026.06，评估不同输出格式对MLLM检测性能的影响 |
| WildRoadBench | 航拍道路损伤定位基准 | 2026.05，评估VLM在真实复杂场景下的检测和定位能力 |
| iGround | 视频中的短语定位 | 从视频描述中定位对应的物体和区域 |
5.2****关键发现：专用检测器 vs 通用 VLM
NeurIPS 2025发表的Roboflow100-VL（RF100-VL）基准研究，是目前对检测视觉大模型最全面的评估之一。该研究在100+个领域、数百个互联网预训练中不常见的概念上，对比了专用开放词汇检测器和通用VLM的检测性能，得出了几个关键结论：
- 专用检测器持续超越通用 VLM：开放词汇检测器（Detic、GroundingDINO、OWLv2、MQ-GLIP）在RF100-VL上的表现持续优于通用MLLM（Qwen2.5-VL、Gemini 2.5 Pro），尽管这些MLLM的预训练数据量比专用检测器大几个数量级。
- 差距的核心原因：研究认为，通用VLM检测性能差的主要原因包括：①MLLM不输出每个框的置信度分数，无法进行阈值过滤；②MLLM不确保预测框不重叠（没有NMS后处理），导致重复检测；③检测输出格式不标准，不同模型的坐标格式和解析方式不一致；④MLLM的训练目标以问答和描述为主，检测不是核心优化目标。
- 闭源 VLM 的表现：在WildRoadBench（2026.05）航拍道路损伤检测基准上，最强的VLM是Gemini 3 Pro，达到42.1% macro AP50；最强的开源VLM是Qwen2.5-VL-32B，仅达到25.5% macro AP50。这说明即使是最强的通用VLM，在真实复杂场景的检测任务上仍有很大提升空间。
- 格式的重要性：FindIt基准（2026.06）研究发现，输出格式对MLLM的检测性能有显著影响------使用标准的检测输出格式（如JSON框坐标）比自由文本输出的检测精度高很多。这说明通过优化输出格式和后处理，可以显著提升通用VLM的检测性能。
5.3****代表性性能数据
|------------------------|------------|------------|----------|-------|
| 模型 | COCO零样本AP | LVIS AP | RefCOCOg | 类型 |
| Grounding DINO 1.5/2.0 | ~58-62 | ~40-45 | ~85-88 | 专用检测器 |
| Florence-2 / 2.5 | ~50-55 | ~35-40 | ~80-85 | 多任务统一 |
| OWLv2 | ~45-50 | ~30-35 | ~75-80 | 专用检测器 |
| YOLO-World | ~40-45 | ~25-30 | ~70-75 | 实时检测器 |
| Molmo-72B | ~30-35(估) | ~20-25(估) | ~80-85 | 通用VLM |
| Aria | ~30-35(估) | ~20-25(估) | ~78-82 | 通用VLM |
| Qwen2.5-VL-72B | ~25-30(估) | ~15-20(估) | ~75-80 | 通用VLM |
| Gemini 2.5 Pro | ~30-35(估) | ~20-25(估) | ~82-86 | 闭源VLM |
数据说明：专用检测器的COCO/LVIS分数来自各模型官方技术报告和标准评估；通用VLM的检测分数为基于RF100-VL、WildRoadBench等研究的估计值，因为通用VLM通常不在标准检测基准上报告分数。RefCOCOg（指代表达理解）是通用VLM的强项，因为这更接近"语言理解+定位"的任务。
六、关键技术挑战
- 通用 VLM 的检测精度差距：如RF100-VL研究所揭示的，通用VLM在标准检测任务上的精度显著低于专用检测器。核心原因是缺乏标准检测头、置信度输出和NMS后处理。缩小这个差距需要在VLM架构中引入检测专用的优化目标和后处理机制，同时保持VLM的自然语言交互和多任务能力。
- 检测输出格式的标准化：目前不同模型的检测输出格式差异巨大------Grounding DINO输出标准框+置信度，Florence-2输出特殊token序列，Molmo输出坐标点，Qwen-VL输出box格式token，GPT-4o需要引导输出坐标。缺乏统一的输出格式导致模型难以互换和集成，也增加了应用开发的复杂度。未来需要行业层面的检测输出格式标准。
- 细粒度和小目标检测：当前检测视觉大模型在通用物体检测上表现不错，但在细粒度检测（如"检测所有型号为A的螺丝钉"）、小目标检测（如航拍图像中的行人）、密集场景检测（如拥挤人群中的每个人）等挑战性场景上仍有不足。高分辨率输入、动态分辨率、多尺度特征融合是关键技术方向。
- 复杂描述和推理式检测：当前模型对简单类别描述（"汽车"、"行人"）检测效果好，但对复杂描述（"检测所有正在闯红灯且未戴头盔的电动车骑手"）、推理式检测（"检测所有可能存在安全隐患的设备"）等需要多步推理和属性组合的检测任务表现有限。这需要更强的视觉推理能力和属性理解能力。
- 视频检测和时序一致性：虽然部分模型支持视频输入，但视频中的目标检测（检测+跟踪）、时序一致性（同一物体在不同帧中的ID保持）、事件检测（"检测有人摔倒的时刻"）等任务仍然困难。视频帧的冗余信息处理、时序注意力、跟踪与检测的统一是研究热点。
- 3D 检测和空间理解：当前检测视觉大模型主要处理2D图像，但机器人、自动驾驶、AR/VR等场景需要3D检测（检测物体的3D位置和尺寸）。LocateAnything3D等工作开始探索VLM-native的3D检测，但3D空间理解、深度估计、点云与图像融合等仍是巨大挑战。
- 实时检测和推理效率：检测视觉大模型通常参数量大（7B-72B），推理成本高，难以满足实时检测需求（如自动驾驶需要30+ FPS）。模型压缩、量化、蒸馏、MoE架构、专用推理框架是提升效率的关键方向。YOLO-World等实时开放词汇检测器是重要的探索。
- 数据污染和基准失效：随着模型训练数据量的爆炸式增长，COCO、LVIS等经典基准的数据污染问题越来越严重。RF100-VL、FindIt、WildRoadBench等新基准专门设计避免污染，但根本解决需要动态生成测试题、真实场景评估等新的评估范式。
七、应用场景与落地价值
|-----------|------------------------|----------------------------------------|--------------------------------------|
| 应用领域 | 核心价值 | 典型用例 | 推荐模型 |
| 工业质检 | 开放词汇检测缺陷，无需为每种缺陷单独训练模型 | 表面缺陷检测、装配错误检测、零部件缺失检测、安全帽检测 | Grounding DINO、Florence-2、YOLO-World |
| 安防监控 | 文本提示驱动的事件检测，快速响应新需求 | 入侵检测、徘徊检测、人群聚集、遗留物检测、打架检测 | Grounding DINO、Florence-2、Qwen-VL |
| 自动驾驶 | 开放词汇检测罕见物体和长尾场景，提升安全性 | 罕见障碍物检测、交通标志理解、行人意图分析、事故场景检测 | Grounding DINO、YOLO-World、专用BEV模型 |
| 机器人感知 | 自然语言指令驱动的物体定位，实现人机交互 | "把桌上红色的杯子递给我"、"找到充电器"、"检测所有可抓取物体" | Molmo、Ferret-2、Grounding DINO+SAM |
| 医疗影像 | 细粒度区域理解和定位，辅助诊断 | 病灶定位、器官测量、异常区域标注、医学报告生成 | Ferret-2、专用医学VLM、Florence-2微调 |
| 零售电商 | 开放词汇商品检测，快速适配新品类 | 货架商品识别、商品盘点、价格标签检测、陈列合规检查 | Grounding DINO、Florence-2、Qwen-VL |
| 内容审核 | 文本提示驱动的违规内容检测，快速响应新规则 | 违禁品检测、暴力内容检测、敏感标识检测、广告合规检查 | Grounding DINO、Florence-2、Qwen-VL |
| 智能助手 | 对话式检测和定位，自然语言交互 | "帮我在这张照片里找到我的狗"、"截图里哪个按钮是提交"、"图片中有几个人" | Molmo、Aria、Qwen-VL、GPT-4o |
| UI自动化/RPA | 理解界面元素，自动定位可交互组件 | UI自动化测试、软件操作自动化、无障碍辅助、智能填表 | Qwen-VL、GLM-4V、Aria、CogAgent |
| 农业环保 | 开放词汇检测病虫害和环境问题 | 病虫害检测、杂草识别、作物长势评估、垃圾检测、野生动物监测 | Grounding DINO、Florence-2、YOLO-World |
八、行业趋势与未来展望
- 两条路线深度融合，统一架构成为主流：专用检测器和通用VLM正在从两个方向走向融合------专用检测器在增加自然语言交互和多任务能力（Florence-2统一10+任务，Grounding DINO支持复杂提示），通用VLM在增加标准检测头和后处理（LocateAnything的VLM-native检测接口，Molmo的坐标点输出+社区后处理工具）。未来3-5年，统一架构的检测视觉大模型将成为主流，同时具备专用检测器的精度和通用VLM的交互能力。
- VLM-native 检测接口标准化：LocateAnything（NVIDIA 2026）等工作开创了VLM-native检测接口的范式------在VLM架构中实现标准的检测输出（框+置信度+NMS），同时保留VLM的开放词汇和视觉提示能力。随着更多模型采用这种接口，检测输出格式将逐渐标准化，应用开发的复杂度将大幅降低。
- 从 2D 检测到 3D/ 空间理解：LocateAnything3D等工作将检测视觉大模型从2D图像扩展到3D空间。未来，检测视觉大模型将不仅能在2D图像中检测物体，还能理解物体的3D位置、尺寸、姿态和空间关系，为机器人、自动驾驶、AR/VR等需要深度空间理解的场景提供核心能力。结合世界模型和3D视觉技术，检测视觉大模型将从"看懂图片"进化到"理解空间"。
- 视频检测和时序理解：当前检测视觉大模型主要处理静态图像，未来将向视频检测和时序理解扩展------不仅能检测单帧中的物体，还能跟踪视频中的物体、理解事件和动作、检测异常行为。Gemini 1.5/2.5等长上下文模型已经支持1小时视频输入，随着视频理解能力的增强，检测视觉大模型将在安防、体育分析、医疗监护等视频场景大规模落地。
- 实时检测和端侧部署：YOLO-World等实时开放词汇检测器证明了检测视觉大模型可以做到实时。未来，通过模型压缩、量化、蒸馏、MoE架构和专用推理框架，更大规模的检测视觉大模型将能够在边缘设备（手机、摄像头、机器人、汽车）上实时运行。端侧检测视觉大模型将成为智能设备的标配，隐私保护、低延迟、离线可用等优势将推动大规模普及。
- Agent 原生的检测能力：检测视觉大模型将成为AI Agent的视觉感知核心------Agent通过检测视觉大模型理解环境、定位物体、执行操作，实现从感知到行动的闭环。Qwen-VL、GLM-4V等模型已经开始原生支持UI界面理解和工具调用，未来检测视觉大模型将与Agent深度整合，成为Agent时代的核心基础设施。
- 检测 + 分割 + 描述 + 推理的全流程统一：SAM 3（Meta 2025）的概念提示分割、Florence-2的多任务统一、GLaMM的检测+描述+分割统一，预示着未来的检测视觉大模型将不仅仅是检测，而是统一检测、分割、描述、推理、操作建议的全流程视觉理解系统。一个模型就能完成从"看到物体"到"理解物体"到"描述物体"到"操作建议"的全流程。
检测视觉大模型代表了计算机视觉从"固定类别、需要训练"到"开放词汇、即问即检"的范式转变。从Grounding DINO的文本提示检测，到Florence-2的多任务统一，到Molmo的像素级定位，到Aria的原生多模态grounding，到LocateAnything的VLM-native检测接口------检测视觉大模型正在以惊人的速度进化。虽然通用VLM在标准检测基准上仍落后于专用检测器，但两条路线的深度融合正在快速缩小差距。未来，统一架构的检测视觉大模型将成为AI感知世界的核心基础设施，让每一个应用、每一个设备、每一个Agent都能"指哪打哪"------你说什么，它就检测什么；你指哪里，它就理解哪里。