一句话定位图片中目标最准的模型是哪个:2026 视觉定位 SOTA 全面评测与选型指南

核心结论 :截至 2026 年 11 月,「靠一句话在图片中定位目标」最准的专用模型是 ACE-Brain-0.6 (9B,基于 Qwen3.5-9B 微调)------它在 7 个公开视觉定位 benchmark 上平均 75.41 ,超过了 OpenAI 的 GPT-6 Astra(73.68) ,成为当前视觉定位(visual grounding)的 SOTA(state-of-the-art,最先进水平)。但要注意:它是在「空间定位」这类通用感知任务上整体领先,在 PixMo-Count(计数)、RefSpatial(空间关系)、PointArena(点定位)三个子项上仍输给 GPT-6 Astra 。所以「最准」要分场景:追求极致通用定位能力选闭源的 GPT-6 Astra,追求可私有化部署、空间定位精度选开源的 ACE-Brain-0.6 或 GroundingPI(4B,34 benchmark 平均 73.68%)。本专栏在视觉定位技术能力边界与选型指南里讲过视觉定位的技术全景,本文更新到 2026 年底的最强选手。

目录

    1. 一句话结论
    1. 任务定义:一句话定位图片目标到底是什么
    1. 评测基准(Benchmarks):怎么才算「准」
    1. 当前 SOTA:ACE-Brain-0.6 凭什么超过 GPT-6 Astra
    1. 第二梯队:GroundingPI 与 GPT-6 Astra
    1. 数据对照:7 个 benchmark 的具体表现
    1. 该选谁:场景化选型建议
    1. 关键局限:SOTA 也有翻车的场景
    1. 完整可运行代码(Runnable Code):体验视觉定位
    1. 对照表:症状 → 原因 → 解法
    1. 判断收尾

1. 一句话结论

先建立一个直觉 🎭:视觉定位模型像「最会找东西的管家」------你告诉他「把桌上那个红色马克杯旁边的蓝色笔拿过来」,他能准确圈出那支笔。不同管家(模型)找东西的能力有高下,评判标准就是「圈得准不准」(框和真值重叠多少)。

所以结论分三层:

  • 最强专用模型 :ACE-Brain-0.6(9B),7 个 benchmark 平均 75.41,首次在通用视觉定位上反超 GPT-6 Astra。
  • 最强闭源通用 :GPT-6 Astra(OpenAI),73.68,仍是综合最强的闭源选项,且在某些子项领先。
  • 最强轻量专用 :GroundingPI(4B),34 benchmark 平均 73.68%,小模型做到顶级精度。

一句话:「最准」没有唯一答案,但如果你问「当前谁的整体定位精度最高」,答案是 ACE-Brain-0.6。

2. 任务定义:一句话定位图片目标到底是什么

先把任务说清楚,避免和「目标检测」混淆。

  • Visual Grounding(视觉定位 / 指代理解):给定一张图片 + 一句自然语言描述(如「最左边的穿红色衣服的人」),模型输出描述对应目标的位置(bounding box,边界框)。
  • 学术上叫 Referring Expression Comprehension(指代表达式理解)------核心是「理解一句话 + 在图上找到对应目标」。
  • 和普通目标检测(detection)的区别:检测是「找所有已知类别的目标」,grounding 是「根据一句任意描述找特定目标」,更难,因为描述可以是任意的、含关系的(位置、颜色、大小、空间关系)。

本专栏在《视觉定位技术能力边界与选型指南:从试卷答案位置识别到多模态 Grounding》(CV03)里已经讲过这条技术路线(闭源多模态大模型 / 开源多模态大模型 / 专用检测模型),本文聚焦「当前谁最强」的评测更新。

用类比 🎭:检测像「点外卖时从菜单里选已列出的菜」,grounding 像「跟朋友说『上次那家店靠窗位置那个戴帽子的』」------后者需要理解自由描述的语义,难度高一个档次。

3. 评测基准(Benchmarks):怎么才算「准」

判断「准不准」,靠一套公开的 benchmark(基准测试)。视觉定位领域最常用的是 RefCOCO 家族和近年新增的空间定位基准:

基准 测什么 核心指标
RefCOCO / RefCOCO+ / RefCOCOg 根据自然语言描述定位 COCO 图片中的目标 定位准确率(Acc)
RefSpatial 空间关系理解(如「在桌子上的」) 定位准确率
PointArena 点级精确定位 点定位精度
PixMo-Count 计数 + 定位(数有几个目标) 计数/定位准确率
RobotGrounding 真实机器人场景的目标锚定 定位准确率
GroundingPI 系列(34 个基准) 11 类感知能力综合 平均分
  • 指标 :主要看 Acc(准确率),即预测框和真值框重叠足够大(常用 IoU 阈值)的占比。
  • 综合分:不同模型会用「多个 benchmark 的平均」来对比,所以看到「75.41 vs 73.68」这种分,是多个基准的平均,不是单一任务的分。

⚠️ 读分时注意:不同模型对比时用的 benchmark 集合可能不一样,直接比「平均分」未必公平------要看你关注的子项(空间定位 / 计数 / 点定位)是否都被覆盖。

参考资料:

4. 当前 SOTA:ACE-Brain-0.6 凭什么超过 GPT-6 Astra

ACE-Brain-0.6 是 2026 年 10 月底发布的开源模型,由机器人公司基于 Qwen3.5-9B 微调,专为「空间定位 / 物理感知」设计。它凭什么成为 SOTA?

  • 数据路线 :自动标注机器人录制数据,把采集的数据转成可验证的定位监督信号,用约 150 万样本微调。
  • 训练配方:多模态 + 空间预训练、监督微调、再用 GRPO 强化学习,让模型「不但看得懂,还定位得准」。
  • 成绩 :7 个公开 grounding benchmark 中,6 个超过 Qwen3.5-9B 基线,4 个超过 GPT-6 Astra,7 基准平均 75.41 vs Astra 73.68。
  • 定位本质:它强化的是「空间 grounding」------目标识别、空间定位、交互锚定,正是把「高层任务推理」翻译成「可靠物理动作」的关键。

用类比 🎭:ACE-Brain-0.6 像「专门练过找东西的管家」 ------普通管家(通用模型)什么都懂一点,但这个管家被专项训练过怎么精确圈目标,所以「找东西」这个单项上更专业。

💡 关键:它和 GPT-6 Astra 的差距是「通用 vs 专用」的体现------ACE-Brain-0.6 把能力押注在空间定位上,自然在定位单项上更准。

参考资料:

5. 第二梯队:GroundingPI 与 GPT-6 Astra

除了 ACE-Brain-0.6,还有两个值得关注的「强手」:

  • GPT-6 Astra(OpenAI 闭源) :73.68,综合最强闭源。它的优势是通用------不止定位,还能做完整的多模态理解、推理、Agent 任务。在定位的某些子项(计数、空间关系、点定位)依然比 ACE-Brain 强。
  • GroundingPI(小鹏 + 北大/港大开源,4B) :34 个 benchmark、11 类感知能力平均 73.68% ,追平 GPT-6 Astra,且是 4B 小模型------体积小、精度顶级,非常适合部署。

用类比 🎭:GPT-6 Astra 像「什么都会的全能型人才」,GroundingPI 像「身材小巧但找东西极准的专业选手」------全能型在你需要多种能力时更划算,专业型在你只需定位时更高效。

💡 选型提示:如果你只需要「定位」一个能力,且在意部署成本,GroundingPI(4B)性价比最高 ;如果你需要模型同时干很多事(定位 + 理解 + 推理),GPT-6 Astra 更全能。

参考资料:

6. 数据对照:7 个 benchmark 的具体表现

把 ACE-Brain-0.6 和 GPT-6 Astra 在 7 个 benchmark 上的表现拆开看,能看清「谁强在哪」:

Benchmark 测什么 ACE-Brain-0.6 GPT-6 Astra 领先方
7 基准平均 综合 75.41 73.68 ACE
PixMo-Count 计数定位 落后 领先 Astra
RefSpatial 空间关系 落后 领先 Astra
PointArena 点级定位 落后 领先 Astra
其余 4 项 通用/多类 领先 落后 ACE
RobotGrounding 真实机器人 94.13 91.10 ACE

两个结论:

  • ACE-Brain-0.6 赢在「大分」:在多数通用基准和真实机器人场景(RobotGrounding 94.13 vs 91.10)上领先,所以平均分更高。
  • Astra 赢在「细活」:计数(PixMo-Count)、空间关系(RefSpatial)、点定位(PointArena)三个「精细感知」子项仍是 Astra 强------这些恰好是「一句话找东西」里最容易让人纠结的场景。

⚠️ 所以「谁最准」取决于你关心什么:要整体平均分 → ACE;要计数/空间关系/点级精确定位 → Astra。

7. 该选谁:场景化选型建议

把数据翻译成可操作的选型建议:

你的场景 推荐模型 理由
要私有化部署、只做空间定位 ACE-Brain-0.6(9B) 7 基准平均最高,开源
要轻量模型、GPU 资源有限 GroundingPI(4B) 34 基准平均 73.68%,体积小精度高
要综合能力(定位+理解+推理) GPT-6 Astra(API) 最全能,且计数/空间关系/点定位更强
真实机器人 / 具身智能场景 ACE-Brain-0.6 RobotGrounding 94.13,专为物理动作优化
试卷定位等垂直场景 见本专栏 CV03/CV04 教育方案 专用方案更贴合
  • 开发者自建:优先 ACE-Brain-0.6 或 GroundingPI(都开源,可微调、可部署)。
  • 企业直接用 API:优先 GPT-6 Astra(综合最强,无需部署)。
  • 具体垂直场景:先看是否有专用方案(如本专栏 CV04 的《多VLM拍题定位能力对比与选型指南》),往往比通用 SOTA 更贴合。

8. 关键局限:SOTA 也有翻车的场景

再强的模型也有边界,别神化「最准」:

  • 未独立验证 :ACE-Brain-0.6 和 GroundingPI 的分数是作者自报,尚未经过第三方独立复现------「75.41」可能略虚高。
  • 闭源可复现性问题:GPT-6 Astra 是闭源 API,具体实现不可知,分数也无法在本地复现。
  • 细粒度场景仍弱:计数、复杂空间关系、点级定位,连 SOTA 都还不是满分(且 Astra 在这些项仍领先)。
  • 长尾 / 罕见场景:任何模型在「训练分布之外的描述」上都会明显掉点(我在 CV03 的「关键局限与避坑指南」里详细讲过)。

💡 判断标准:别只信平均分 ,要看你真实场景覆盖了哪些 benchmark 子项;别信单一数字,要留意「自报 vs 独立复现」的差距。

9. 完整可运行代码(Runnable Code):体验视觉定位

下面是一段复制粘贴就能跑 的代码,用 OpenAI 兼容 API 体验视觉定位(grounding)------给模型一张图 + 一句描述,让它返回目标的位置。运行前安装 openai 并配置 API key。

python 复制代码
import openai  # 依赖:pip install openai

# 配置你的 API(以 GPT-6 Astra 视觉定位为例,其他兼容服务类似)
client = openai.OpenAI(api_key="你的_API_KEY", base_url="你的_BASE_URL")

def locate_object(image_url, description):
    """
    让视觉模型根据一句话描述定位图片中的目标,返回位置信息。
    参数:
        image_url: 图片 URL 或 base64 数据
        description: 自然语言描述,如 "最左边穿红衣服的人"
    返回: 模型输出的定位结果(bounding box 等)
    """
    response = client.chat.completions.create(
        model="gpt-6-astra",                       # 视觉定位模型
        messages=[{
            "role": "user",
            "content": [
                {"type": "image_url", "image_url": {"url": image_url}},
                {"type": "text",
                 "text": f"请定位描述的目标并输出其 bounding box:{description}"},
            ],
        }],
        max_tokens=200,
    )
    return response.choices[0].message.content     # 返回定位结果

# 示例:定位一张示例图里的目标
img = "https://example.com/group_photo.jpg"        # 换成你的图片
desc = "戴红色帽子的那个人"                        # 一句话描述
result = locate_object(img, desc)
print("定位结果:", result)

怎么读这段代码 :核心是把「图片 + 一句话描述」一起发给视觉模型,让它输出目标位置------这就是 grounding 的 API 调用形态。换成 ACE-Brain-0.6 / GroundingPI 的开源服务(可用 vLLM 起兼容接口)时,只需改 model 和 base_url,调用方式不变。若只想快速验证,可直接用本专栏 CV04 里那套多 VLM 对比思路,把几个模型并排跑同一句话看定位差异。

10. 对照表:症状 → 原因 → 解法

症状 原因 解法
想让模型「一句话圈出图上目标」 需要视觉定位能力 用 grounding 模型,不是普通目标检测
纠结「谁最准」,看到多个分数 不同模型 benchmark 集合不同 看「平均分 + 你关心的子项」,别只看单一数字
要私有化部署、只做定位 需要开源可部署模型 选 ACE-Brain-0.6(9B)或 GroundingPI(4B)
要综合能力(定位+理解+推理) 需要全能闭源模型 选 GPT-6 Astra(API)
计数 / 空间关系 / 点定位要精确 这些细项 Astra 仍领先 高频用这些场景时优先 GPT-6 Astra
看到 SOTA 分数很高就全信 分数多为作者自报 留意独立复现,垂直场景优先专用方案

11. 判断收尾

什么时候该用「当前 SOTA」 :你正在做需要「一句话定位图片目标」的应用(文档定位、交互锚定、机器人感知、GUI 自动化),且愿意跟随模型迭代------这时按场景选:私有化要开源选 ACE-Brain-0.6 / GroundingPI,综合能力选 GPT-6 Astra。什么时候不必纠结「最准」 :你的场景是高度垂直的(如试卷定位、特定行业),往往有专用方案比通用 SOTA 更准更便宜(见本专栏 CV03/CV04);或你只是偶尔用一次,直接调 API 选最便宜能用的即可。判断标准只有一条:你的任务是要「通用定位精度」还是「垂直场景贴合」------前者跟 SOTA,后者找专用。

本专栏《CV 计算机视觉技术》从视觉定位、OCR、图像生成一路讲到多模态选型,每篇都配可运行代码与实测数据,持续更新。想在看不清视觉模型趋势时多个依据,可在专栏页订阅。

参考资料(综合):

相关推荐
小豆庄9 小时前
测试视频里的人脸车牌敏感信息自动化脱敏方案
计算机视觉·目标跟踪·ffmpeg·音视频·边缘计算·视频·敏捷流程
LUCIALEE1 天前
训练越久越差:两个无人机小样本,把 3DGS 正射 TDOM 的边界跑出来了
计算机视觉
陈嘿萌1 天前
ECCV 2026 | CausalDrive:澳门大学×小米汽车,面向自动驾驶的实时因果世界模型
图像处理·人工智能·深度学习·计算机视觉·自动驾驶·学术研究与理论基础
song150265372982 天前
小型零部件外观检测难?AI机器视觉检测设备,适配全行业小件质检
人工智能·计算机视觉·视觉检测
xsd202411182 天前
AI 智能美甲推荐系统技术全解析
人工智能·计算机视觉
原子延迟2 天前
批量压缩视频会变大?HandBrake等3款(2026)
图像处理·人工智能·计算机视觉·音视频
apple_692658852 天前
基于 Qwen-Image-2.1 的人物替换 LoRA 模型及部署工作流 人物替换的效果 吊打闭源
人工智能·计算机视觉
qq_25294131682 天前
日本道路病害检测数据集 | 道路病害 裂缝检测 坑洼识别 市政巡检9287期
人工智能·深度学习·yolo·目标检测·计算机视觉·道路检测
Qianxueban2 天前
如果卷积核大小固定,步长固定,那经过i次卷积,它一个像素的感受野是多大?
人工智能·深度学习·计算机视觉