Copy-Past 解决小目标检测问题

《CVRP2019_Augmentation for small object detection》论文里面,使用copy-paste解决小目标

小目标的检测性能

一、定义小目标

上图是MS COCO中定义小目标、中目标、大目标的标准;
二、分析小目标检测性能低的原因

  • 网络下采样导致小目标在特征层中很小:例如输入为640x640,backbone下采样为32,那么特征层的特征为20x20, 若小目标在输入层的大小为32x32,那么,在特征层位1x1的大小,一个像素,比32x32小的目标,在特征层中几乎消失;
  • 小目标出现在少数图片中,例如MS COCO 中,训练集中的目标中41.43%是小目标,34.4%是中目标,24.2%是大目标,但是只有50%的图片中包含小目标,70%和80%图片中包含中目标和大目标;
  • 小目标标注面积占比小,例如1.23%的标注像素属于小目标,10.18%是中目标,82.28%输入大目标;
  • 和小目标匹配的正样本anchors数比较少:在基于anchor的目标检测中,anchor和目标IOU大于0.7时,认为该anchor为正样本,约29.96%的anchor与小目标匹配,约44.49%的anchor与大目标匹配;

三、提高小目标检测性能的措施

  • 使用浅层特征:对应原因中的第一点,深层特征感受野宽,特征丰富,但是分辨率小,小目标在深层特征中几乎消失,因q此可以退而求其次,使用浅层目标;

  • Oversampling:包含小目标的图片进行过采样,采样率是可以调整的参数,论文中说,这是最简单直白的方式提升小目标检测性能的方式;

    上图中的表格,可以说明,oversampling可以在一定程度上,提高小目标的性能。

  • Copy-paset: 将小目标从原始位置上复制出来,然后拷贝到图片的其他地方。这样可以增加图片中的小目标。这个工具需要考虑以下两点:1、粘贴的目标是否遮挡其他目标;2、是否模糊粘贴目标的边界;

    copy-pase可以提升小目标的性能,但是多少有点损害大目标的性能。

相关推荐
鶴哥只手遮天35 分钟前
Spring AI 2.0.1 深度解析-第 14 章 MCP 服务端(上):注解式实现与工具来源
java·人工智能·开源
鶴哥只手遮天37 分钟前
Spring AI 2.0.1 深度解析-第 15 章 MCP 服务端(下):三种协议形态、Streamable 传输与状态管理
java·人工智能·开源
鶴哥只手遮天42 分钟前
Spring AI 2.0.1 深度解析-第 16 章 向量存储(上):`VectorStore` 接口体系、`BatchingStrategy`
java·人工智能·开源
鶴哥只手遮天42 分钟前
Spring AI 2.0.1 深度解析-第 12 章 工具循环的流式形态、Usage 累加与扩展体系
java·人工智能·开源
鶴哥只手遮天1 小时前
Spring AI 2.0.1 深度解析-第 23 章 模型供应商实现:从 `OpenAiSetup` 到 Bedrock
java·人工智能·开源
鶴哥只手遮天1 小时前
Spring AI 2.0.1 深度解析-第 06 章 内置 Advisor 全景:13 个实现逐个剖到源码级
java·人工智能·开源
鶴哥只手遮天1 小时前
Spring AI 2.0.1 深度解析-第 03 章 消息体系与 Prompt:不可变模型、`ChatOptions` 与模板渲染
java·人工智能·开源
鶴哥只手遮天1 小时前
Spring AI 2.0.1 深度解析-第 24 章 生产实践与 2.x 迁移:陷阱清单、AOT 与调优
java·人工智能·开源
鶴哥只手遮天1 小时前
Spring AI 2.0.1 深度解析-第 10 章 工具调用(中):执行链路、结果转换与工具限制
java·人工智能·开源
鶴哥只手遮天1 小时前
Spring AI 2.0.1 深度解析-第 13 章 MCP 客户端:传输、工具聚合与命名冲突
java·人工智能·开源