细粒度目标检测问题剖析

问题剖析

相对于一般目标检测任务,细粒度目标更容易出现类内差异大、类间差异小等现象。

所谓细粒度目标识别,是指在目标检测的基础上,识别出目标的具体型号与类别,例如不只识别出飞机目标,还能识别出飞机型号。粗粒度是分辨猫还是狗,而细粒度是分辨狗的种类,比如这个狗是杜宾犬还是金毛。

基于深度学习的细粒度目标检测算法研究

LionRoarRoar/Awesome-Fine-grained-Visual-Classification: Awesome Fine-grained Visual Classification (github.com)

Awesome Fine-Grained Image Analysis -- Papers, Codes and Datasets (weixiushen.com)

目标识别算法选择

对于细粒度物体识别,通常来说,R-CNN更适合。R-CNN是一种基于区域的卷积神经网络,它在检测和识别物体时能够更好地捕捉物体的细节和特征。相比之下,YOLO更适合于快速的实时物体检测,但在细粒度物体识别上可能不如R-CNN表现出色。

1、yolo

不生成预选框

2、R-CNN

先生成备选框,后分类,修正,识别

3、SSD

4、多模型融合

  1. 将每个模型的预测结果进行融合,可以采用简单的投票机制、加权平均或者更复杂的集成学习方法来融合这些结果。
  2. 调整融合权重:根据实际情况,可能需要对不同模型的预测结果进行加权融合,以提高整体预测性能。

数据集获取

训练集、验证集、测试集

堆数据

1、爬虫

1、多搜索引擎爬取

2、筛选去重

  • 颜色特征提取
  • 纹理特征提取
  • SIFT特征对比

2、数据增强

目的:

执行数据增强,你可以阻止神经网络学习不相关的特征,从根本上提升整体性能。

方法:

有监督:

翻转,旋转,缩放,裁剪,移位;

可能的问题:旋转特定角度出现黑色区域 -> 插值

无监督:
  1. 通过模型学习数据的分布,随机生成与训练数据集分布一致的图片,代表方法GAN。
  2. 通过模型,学习出适合当前任务的数据增强方法,代表方法AutoAugment。

自动数据增强https://github.com/tensorflow/tpu/blob/master/models/official/detection/utils/autoaugment_utils.py

可能出现的问题:

过度拟合 -> 高斯噪声

样本不平衡问题

图片标注

标注工具:labellmg

影响分类识别的因素

可以归结为三个方面:

  1. 第一种因素,就是比较常见的基于图像本身的一些因素,比如光照,形变,尺度,模糊等等。
  2. 第二种因素,就是类内差异太大,比如椅子,桌子,虽然都叫椅子,桌子,可是形态各异。
  3. 第三种因素,就是类间差异太小,最常见的就是细粒度分类。

缩小类内距离增大类间距离策略------摘自知乎(作者:新想)_多分类损失函数优化 类间距离大-CSDN博客

如何保持分类模型具有类内聚敛、类间分离的特性? - 简书 (jianshu.com)

  1. triplet loss
  2. L-softmax
  3. A-softmax
  4. Am-softmax
  5. centerloss
  6. LDA
相关推荐
心勤则明2 分钟前
Spring AI 文档ETL实战:集成text-embedding-v4 与 Milvus
人工智能·spring·etl
啦啦啦在冲冲冲3 分钟前
mse和交叉熵loss,为什么分类问题不用 mse
人工智能·分类·数据挖掘
SaaS_Product5 分钟前
有安全好用且稳定的共享网盘吗?
人工智能·云计算·saas·onedrive
~~李木子~~8 分钟前
图像分类项目:Fashion-MNIST 分类(SimpleCNN )
人工智能·分类·数据挖掘
轻赚时代11 分钟前
新手做国风视频难?AI + 敦煌美学高效出片教程
人工智能·经验分享·笔记·创业创新·课程设计·学习方法
Xxtaoaooo20 分钟前
原生多模态AI架构:统一训练与跨模态推理的系统实现与性能优化
人工智能·架构·分布式训练·多模态·模型优化
霖0021 分钟前
ZYNQ裸机开发指南笔记
人工智能·经验分享·笔记·matlab·fpga开发·信号处理
jianqiang.xue35 分钟前
单片机图形化编程:课程目录介绍 总纲
c++·人工智能·python·单片机·物联网·青少年编程·arduino
heisd_11 小时前
在编译opencv出现的问题
人工智能·opencv·计算机视觉
三更两点1 小时前
第136期 谷歌Jules Tools反击Copilot的主导地位:重新定义工作流自动化18
人工智能