VLM细粒度识别新范式!快慢思考赋能、无需训练、不建样本库!让CLIP细粒度识别精度暴涨15个点

细粒度识别准确率低?完整原文见链接:如何提升 VLM 的细粒度识别能力呢?

视觉语言模型在图像描述、图文检索等任务中展现了强大的通用视觉识别能力。但当面对"苹果手机"与"三星手机"这类细微差异时,它的回答可能就不那么靠谱了。

以业界标杆CLIP为例,其表现揭示了一个惊人反差:在CIFAR10粗粒度数据集上达到90%准确率,而在CUB-200鸟类细粒度数据集上骤降至仅50%。即使是专攻细粒度的SigLIP,在CUB-200上的表现也止步于70%左右。

更深入的分析揭示了一个关键发现:虽然这些模型的Top-1准确率不尽如人意,但它们的Top-10准确率却能突破90%。这意味着VLM能够圈定正确范围,却难以在相似选项中做出最终抉择。

那如果把模型换成你,你会怎么处理?人类通常不会直接给出答案,而是经历一个自然的认知过程:首先是快速筛查,先确定这大概是某种鸟,然后再精细观察"喙的形状、羽毛纹路",通过细微特征的比对做出最终判断。

这一过程恰好对应认知科学中的"双系统理论":系统1:直觉快速,基于经验快速反应,但容易出错,系统2:深思熟虑,通过逻辑分析做出精准判断,但需要时间。

而当前VLM的表现完美对应了"系统1"的特征:能够快速识别出合理的候选类别子集,却缺乏"系统2"的精细辨别能力,导致在相似类别间频繁出错。

来自四川大学与南洋理工大学的研究团队提出了一种无需训练、不依赖标注数据或是参考样本、在推理时即插即用的 VLM 增强方法,从而补上精细思考模块,实现从大致正确到精确识别的跨越。

论文及源码可查看原文:VLM细粒度识别新范式!

相关推荐
智联视频超融合平台4 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟4 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯5 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐6 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777713 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn13 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健14 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道14 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99615 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音