论文精读:YOLO-UniOW: Efficient Universal Open-World Object Detection

文章目录


前言

本文介绍一篇来自Tencent的开放词汇和世界检测结合的论文:Yolo-uniow开源地址

1、出发点

本篇论文相当于开辟了一个新任务,将开放词汇检测世界检测融合到一个任务:在给定一系列text prompt后,除了检测出对应单词的边界框,还要将其余未知的物体检测为"Unknown"。贴一张论文示例图:


2、方法

底下是论文总体结构图,在yolo-world基础上衍生出来的,总体来看结构比较简单,Detector用到的是yolov10,包含两个assign head: one2many和one2one;TextEncoder启用了LoRA微调,然后设计了一个通配符Wildcard Learning策略(其实就是object类别的嵌入向量),来挖掘Unknown物体。下面将逐一介绍。

2.1.符号说明

上述三个标黄的公式其实就是论文要实现功能。其中 c k c_k ck表示已知的文本类别; C u n k C_{unk} Cunk为未知的类别, T w T_w Tw就是通配符wildcard learning;当然,作为开放世界检测模型,需要能够不断从Unknown中迭代出新类别来更新 c k c_k ck,也就是第3个公式中表达意思。

2.2.Efficient Adaptive Decision Learning

论文创新点之一,但实际上就是 LoRA微调 TextEncoder。

2.3.Open-World Wildcard Learning

这里主要介绍下通配符学习策略,看模型是如何在train stage筛选Unknown物体的。先说两个子训练stage:

  1. 先训练open-vocabulary-detector,即完成类似yolo-world的训练;
  2. 设置可学习嵌入向量wildcard embedding,代表含义是 object,监督信息是所有box;
  3. 在完成上述训练后,需要将两个部分结合起来,将wildcard embedding发现所有物体的能力迁移到open-vocabulary部分:但结合时候会出现问题,因为通配符检测结果跟open-vocabulary的一部分检测框是重叠的,需要过滤掉。而将未过滤的则是 Unkonwn 物体,将其交给可学习嵌入向量Unkonwn Wildcard。

而具体筛选策略就是通过底下公式:

也可以按照下图示例说明:当迭代发现新的类别即CurrentKnown时,跟绿色的GTbox做监督训练。而Well-tuned Wildcard检测出 0.0001和0.2和0.8的虚线框,其中0.001因阈值太低过滤掉,而0.2去分配给Unkonwn Wildcard,而0.8因跟GTbox交并比过大也被过滤掉了

3、实验结果

比yolo-world高。

LoRA微调TextEncoder涨点儿明显。

总结

总体来说结合起来挺有意思,从另一个角度来解决open-world问题。

相关推荐
山烛8 分钟前
KNN 算法中的各种距离:从原理到应用
人工智能·python·算法·机器学习·knn·k近邻算法·距离公式
盲盒Q18 分钟前
《频率之光:归途之光》
人工智能·硬件架构·量子计算
墨染点香27 分钟前
第七章 Pytorch构建模型详解【构建CIFAR10模型结构】
人工智能·pytorch·python
go546315846527 分钟前
基于分组规则的Excel数据分组优化系统设计与实现
人工智能·学习·生成对抗网络·数学建模·语音识别
茫茫人海一粒沙33 分钟前
vLLM 的“投机取巧”:Speculative Decoding 如何加速大语言模型推理
人工智能·语言模型·自然语言处理
诗酒当趁年华35 分钟前
【NLP实践】二、自训练数据实现中文文本分类并提供RestfulAPI服务
人工智能·自然语言处理·分类
静心问道1 小时前
Idefics3:构建和更好地理解视觉-语言模型:洞察与未来方向
人工智能·多模态·ai技术应用
sheep88881 小时前
AI与区块链Web3技术融合:重塑数字经济的未来格局
人工智能·区块链
奋进的孤狼1 小时前
【Spring AI】阿里云DashScope灵积模型
人工智能·spring·阿里云·ai·云计算
AIGC_北苏1 小时前
让UV管理一切!!!
linux·人工智能·uv