细粒度目标检测问题剖析

问题剖析

相对于一般目标检测任务,细粒度目标更容易出现类内差异大、类间差异小等现象。

所谓细粒度目标识别,是指在目标检测的基础上,识别出目标的具体型号与类别,例如不只识别出飞机目标,还能识别出飞机型号。粗粒度是分辨猫还是狗,而细粒度是分辨狗的种类,比如这个狗是杜宾犬还是金毛。

基于深度学习的细粒度目标检测算法研究

LionRoarRoar/Awesome-Fine-grained-Visual-Classification: Awesome Fine-grained Visual Classification (github.com)

Awesome Fine-Grained Image Analysis -- Papers, Codes and Datasets (weixiushen.com)

目标识别算法选择

对于细粒度物体识别,通常来说,R-CNN更适合。R-CNN是一种基于区域的卷积神经网络,它在检测和识别物体时能够更好地捕捉物体的细节和特征。相比之下,YOLO更适合于快速的实时物体检测,但在细粒度物体识别上可能不如R-CNN表现出色。

1、yolo

不生成预选框

2、R-CNN

先生成备选框,后分类,修正,识别

3、SSD

4、多模型融合

  1. 将每个模型的预测结果进行融合,可以采用简单的投票机制、加权平均或者更复杂的集成学习方法来融合这些结果。
  2. 调整融合权重:根据实际情况,可能需要对不同模型的预测结果进行加权融合,以提高整体预测性能。

数据集获取

训练集、验证集、测试集

堆数据

1、爬虫

1、多搜索引擎爬取

2、筛选去重

  • 颜色特征提取
  • 纹理特征提取
  • SIFT特征对比

2、数据增强

目的:

执行数据增强,你可以阻止神经网络学习不相关的特征,从根本上提升整体性能。

方法:

有监督:

翻转,旋转,缩放,裁剪,移位;

可能的问题:旋转特定角度出现黑色区域 -> 插值

无监督:
  1. 通过模型学习数据的分布,随机生成与训练数据集分布一致的图片,代表方法GAN。
  2. 通过模型,学习出适合当前任务的数据增强方法,代表方法AutoAugment。

自动数据增强https://github.com/tensorflow/tpu/blob/master/models/official/detection/utils/autoaugment_utils.py

可能出现的问题:

过度拟合 -> 高斯噪声

样本不平衡问题

图片标注

标注工具:labellmg

影响分类识别的因素

可以归结为三个方面:

  1. 第一种因素,就是比较常见的基于图像本身的一些因素,比如光照,形变,尺度,模糊等等。
  2. 第二种因素,就是类内差异太大,比如椅子,桌子,虽然都叫椅子,桌子,可是形态各异。
  3. 第三种因素,就是类间差异太小,最常见的就是细粒度分类。

缩小类内距离增大类间距离策略------摘自知乎(作者:新想)_多分类损失函数优化 类间距离大-CSDN博客

如何保持分类模型具有类内聚敛、类间分离的特性? - 简书 (jianshu.com)

  1. triplet loss
  2. L-softmax
  3. A-softmax
  4. Am-softmax
  5. centerloss
  6. LDA
相关推荐
Chaos_Wang_7 分钟前
NLP高频面试题(三十)——LLama系列模型介绍,包括LLama LLama2和LLama3
人工智能·自然语言处理·llama
新智元12 分钟前
美国 CS 专业卷上天,满分学霸惨遭藤校全拒!父亲大受震撼引爆热议
人工智能·openai
新智元14 分钟前
美国奥数题撕碎 AI 数学神话,顶级模型现场翻车!最高得分 5%,DeepSeek 唯一逆袭
人工智能·openai
Baihai_IDP25 分钟前
「DeepSeek-V3 技术解析」:无辅助损失函数的负载均衡
人工智能·llm·deepseek
硅谷秋水31 分钟前
大语言模型智体的综述:方法论、应用和挑战(下)
人工智能·深度学习·机器学习·语言模型·自然语言处理
TGITCIC35 分钟前
BERT与Transformer到底选哪个-下部
人工智能·gpt·大模型·aigc·bert·transformer
Lx35236 分钟前
AutoML逆袭:普通开发者如何玩转大模型调参
人工智能
IT古董38 分钟前
【漫话机器学习系列】185.神经网络参数的标准初始化(Normalized Initialization of Neural Network Parameter
人工智能
嘻嘻哈哈开森39 分钟前
Java开发工程师转AI工程师
人工智能·后端
rocksun40 分钟前
Agentic AI和平台工程:如何结合
人工智能·devops