细粒度目标检测问题剖析

问题剖析

相对于一般目标检测任务,细粒度目标更容易出现类内差异大、类间差异小等现象。

所谓细粒度目标识别,是指在目标检测的基础上,识别出目标的具体型号与类别,例如不只识别出飞机目标,还能识别出飞机型号。粗粒度是分辨猫还是狗,而细粒度是分辨狗的种类,比如这个狗是杜宾犬还是金毛。

基于深度学习的细粒度目标检测算法研究

LionRoarRoar/Awesome-Fine-grained-Visual-Classification: Awesome Fine-grained Visual Classification (github.com)

Awesome Fine-Grained Image Analysis -- Papers, Codes and Datasets (weixiushen.com)

目标识别算法选择

对于细粒度物体识别,通常来说,R-CNN更适合。R-CNN是一种基于区域的卷积神经网络,它在检测和识别物体时能够更好地捕捉物体的细节和特征。相比之下,YOLO更适合于快速的实时物体检测,但在细粒度物体识别上可能不如R-CNN表现出色。

1、yolo

不生成预选框

2、R-CNN

先生成备选框,后分类,修正,识别

3、SSD

4、多模型融合

  1. 将每个模型的预测结果进行融合,可以采用简单的投票机制、加权平均或者更复杂的集成学习方法来融合这些结果。
  2. 调整融合权重:根据实际情况,可能需要对不同模型的预测结果进行加权融合,以提高整体预测性能。

数据集获取

训练集、验证集、测试集

堆数据

1、爬虫

1、多搜索引擎爬取

2、筛选去重

  • 颜色特征提取
  • 纹理特征提取
  • SIFT特征对比

2、数据增强

目的:

执行数据增强,你可以阻止神经网络学习不相关的特征,从根本上提升整体性能。

方法:

有监督:

翻转,旋转,缩放,裁剪,移位;

可能的问题:旋转特定角度出现黑色区域 -> 插值

无监督:
  1. 通过模型学习数据的分布,随机生成与训练数据集分布一致的图片,代表方法GAN。
  2. 通过模型,学习出适合当前任务的数据增强方法,代表方法AutoAugment。

自动数据增强https://github.com/tensorflow/tpu/blob/master/models/official/detection/utils/autoaugment_utils.py

可能出现的问题:

过度拟合 -> 高斯噪声

样本不平衡问题

图片标注

标注工具:labellmg

影响分类识别的因素

可以归结为三个方面:

  1. 第一种因素,就是比较常见的基于图像本身的一些因素,比如光照,形变,尺度,模糊等等。
  2. 第二种因素,就是类内差异太大,比如椅子,桌子,虽然都叫椅子,桌子,可是形态各异。
  3. 第三种因素,就是类间差异太小,最常见的就是细粒度分类。

缩小类内距离增大类间距离策略------摘自知乎(作者:新想)_多分类损失函数优化 类间距离大-CSDN博客

如何保持分类模型具有类内聚敛、类间分离的特性? - 简书 (jianshu.com)

  1. triplet loss
  2. L-softmax
  3. A-softmax
  4. Am-softmax
  5. centerloss
  6. LDA
相关推荐
契合qht53_shine5 分钟前
OpenCV 从入门到精通(day_05)
人工智能·opencv·计算机视觉
3DVisionary13 分钟前
3D-DIC与机器学习协同模拟材料应力-应变本构行为研究
人工智能·机器学习·3d·3d-dic技术 机器学习·应力-应变本构行为·卷积神经网络(ecnn)·数字图像相关法(dic)
神经星星15 分钟前
无需预对齐即可消除批次效应,东京大学团队开发深度学习框架STAIG,揭示肿瘤微环境中的详细基因信息
人工智能·深度学习·机器学习
神经星星15 分钟前
【vLLM 学习】调试技巧
人工智能·机器学习·编程语言
程序员Linc33 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
xcLeigh41 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
果冻人工智能1 小时前
如何有效应对 RAG 中的复杂查询?
人工智能
2305_797882091 小时前
AI识图小程序的功能框架设计
人工智能·微信小程序·小程序
果冻人工智能1 小时前
向量搜索中常见的8个错误(以及如何避免它们)
人工智能
碳基学AI1 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习