【目标检测经典算法】R-CNN、Fast R-CNN和Faster R-CNN详解系列三:Faster R-CNN图文详解

【目标检测经典算法】R-CNN、Fast R-CNN和Faster R-CNN详解系列二:Fast R-CNN图文详解

概念预设

感受野

感受野(Receptive Field) 是指特征图上的某个点能看到的输入图像的区域

  • 神经元感受野的值越大表示其能接触到的原始图像范围就越大,也意味着它可能蕴含更为全局,语义层次更高的特征;
  • 值越小则表示其所包含的特征越趋向局部和细节。

在论文中,ZF网络特征图中 3 ∗ 3 3*3 3∗3的滑动窗口在原图中的感受野为 171 ∗ 171 171*171 171∗171

RPN

框架

Faster R-CNN不再需要SS算法进行候选框的生成,而是使用RPN进行锚框的生成和筛选,可以和分类回归任务放在一起进行实现,是一个一阶段任务。

anchor box

什么是anchors

在图像上预设好的不同大小,不同长宽比的参照框。 论文中设定每个区域可以生成k个anchor box。

anchors的大小和比例

由于每个目标的大小不同,所以会预设的anchors的大小和长宽比也不同。

在论文中预设了3种不同的面积和3种不同的比例大小的anchors:

  • 128 ∗ 128 , 256 ∗ 256 , 512 ∗ 512 128*128, 256*256, 512*512 128∗128,256∗256,512∗512
  • 1 : 1 , 1 : 2 , 2 : 1 1:1, 1:2, 2:1 1:1,1:2,2:1

因此一共会有9个 anchors生成。

步骤

1. 滑动窗口

将图片输入网络得到相应的特征图后,将有一个3*3的滑动窗口 在特征图上进行滑动,每滑动到一个新的位置,就生成一个一维向量 (维度由所使用的backbone决定),在一维向量的基础上连接两个全连接层(cls layer和reg layer),获得2k个分类参数和4k个位置参数。

  • 2k: 正样本概率和负样本概率
  • 4k:4个需要回归的位置参数, d x d y d_x d_y dxdy:anchors的中心坐标的偏移量, d w d h d_w d_h dwdh:宽和高的调整参数

2. 生成anchor box

根据滑动窗口所在的特征图的中心点坐标以及特征图和原图的比例还原找到原图中所在位置的中心点坐标,然后根据原图所在位置的中心点坐标生成k个anchors(图中假设k=3),这些anchors中可能包含着需要检测的目标。

3. scores详解

一维向量通过 1 ∗ 1 1*1 1∗1、个数为2k的卷积核 可以生成2k个分类scores,通过 1 ∗ 1 1*1 1∗1、个数为4k的卷积核可以生成4k个分类scores。

生成的参数具体代表的含义如下图所示。

4. anchors的筛选

将大量生成的anchors进行筛选和删除,再通过NMS进行重叠的候选框,最后剩下大约2000个候选框(和SS算法生成的候选框数量差不多)

5. 正负样本的采样

正样本:

  1. 与标注框的iou值>0.7的anchors
  2. 与标注框的iou值最大的anchors

一般第一条就完全可以生成足够的标注框,但是为了防止所有的anchors与标注框的交并比都不大于0.7的特殊情况,则加上了第二个条件

负样本: 与所有的标注框的iou值都<0.3的anchors

总结

可以看到

相关推荐
此生只爱蛋14 分钟前
【手撕排序2】快速排序
c语言·c++·算法·排序算法
用户6915811416544 分钟前
Ascend Extension for PyTorch的源码解析
人工智能
咕咕吖1 小时前
对称二叉树(力扣101)
算法·leetcode·职场和发展
努力的家伙是不讨厌的1 小时前
解析json导出csv或者直接入库
开发语言·python·json
用户691581141651 小时前
Ascend C的编程模型
人工智能
-Nemophilist-1 小时前
机器学习与深度学习-1-线性回归从零开始实现
深度学习·机器学习·线性回归
云空1 小时前
《Python 与 SQLite:强大的数据库组合》
数据库·python·sqlite
九圣残炎1 小时前
【从零开始的LeetCode-算法】1456. 定长子串中元音的最大数目
java·算法·leetcode
lulu_gh_yu1 小时前
数据结构之排序补充
c语言·开发语言·数据结构·c++·学习·算法·排序算法
成富2 小时前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle