YOLO-World:基于YOLOv8的开放词汇目标检测

文章目录


前言

本文介绍一篇来自腾讯的开放词汇检测工作,发表自CVPR2024,论文链接,开源地址

1、出发点

GroundingDINO在开放词汇检测任务中大放异彩,因此本文希望在轻量化的YOLOv8上也搞一个轻量化的开放词汇检测算法。最终效果吧,是模型又快而且精度基本持平。

2、方法

模型总体结构比较简单,主体检测网络采用的是YOLOv8,为了实现开放词汇检测任务,将分类头替换成"特征之间比对头",具体来说就是将检测网络每个anchor所对应的特征向量和文本嵌入向量做对比,计算相似性,进而实现开放词汇检测目的。

2.1.TextEncoder

首先说下TextEncoder,在训练阶段,需要带着庞大的TextEncoder,而在部署阶段,则可以首先离线提取出文本的嵌入向量,这样在部署阶段就能省一个TextEncoder的计算量,使其更加轻量。

2.2.ReparmVLPAN

在得到TextEmbedding和图像特征向量C3-C5后,本文设计了一个VLPAN交互模块,简单来说:用图像特征向量更新文本,在用文本更新图像特征向量。当然,在部署阶段,TextEmbedding也是可以被作为权重写入到onnx里面的。

本人不想在此过多介绍这个模块,因为在实际应用中,建议还是用PAN比较好,因为这个模块收益不多,而且若检测的文本顺序不同,会导致检测结果不同。原因是Max-Sigmoid算子,读者有兴趣可自己check下。

2.3.输出头

样本分配策略是SIMOTA,跟v8一样。检测头就是yolov8,每个anchor预测4个上下左右距离,损失用的是DFL Loss;而分类头则是对比损失头,最终输出维度为: n u m _ a n c h o r ∗ 80 num\_anchor * 80 num_anchor∗80,做二元交叉熵损失,即对应正样本anchor为1,其余为0。

3、实验

3.1.数据集

数据集采用O365+GoldG(GQA+Flickr)。

3.2.LVIS测试集

没啥可说的,FPS高,而且精度跟一系列开放词汇检测算法持平。但paper中指标跟git开源有出入,后续改进论文均以git为准。

总结

总之是一篇不错的轻量化OVD算法,算是挖了个新坑。每个模块其实都有值得探索改进的空间,包括后来的YOLOE , YOLOUniOW等,后续会逐个介绍,包括这类算法的一些不足,敬请期待。

相关推荐
zxsz_com_cn4 分钟前
智能化设备维护:开启高效运维新时代
大数据·数据库·人工智能
机器之心18 分钟前
马斯克:研究者不存在了,只有工程师;LeCun:大错特错
人工智能
psyq20 分钟前
LLaMA Factory 角色扮演模型微调实践记录
人工智能·llama
视觉&物联智能26 分钟前
【杂谈】-人工智能新范式:神经符号大语言模型的崛起
人工智能·语言模型·自然语言处理
karlso27 分钟前
深度学习:优化器(Optimizer)
人工智能·深度学习
AIGC包拥它40 分钟前
检索召回率优化探究二:基于 LangChain 0.3集成 Milvus 2.5向量数据库构建的智能问答系统
人工智能·python·langchain·软件工程·个人开发·milvus
aneasystone本尊2 小时前
再学 RAGFlow 的问答流程(二)
人工智能
zhurui_xiaozhuzaizai2 小时前
多向量检索:lanchain,dashvector,milvus,vestorsearch,MUVERA
人工智能·算法·机器学习·全文检索·milvus
星期天要睡觉2 小时前
机器学习——决策树(DecisionTree)
人工智能·决策树·机器学习
WeiJingYu.2 小时前
机器学习——决策树
人工智能·决策树·机器学习