FASFFhead

一、自适应空间特征融合

1、功能:再学习空间过滤时,抑制跨尺度特征

2、问题:针对单节段目标检测多尺度特征不一致问题,

3、单阶段检测使用不同层级的特征去检测不同尺寸的目标,(低层→小目标、高层→大目标),

二、两大矛盾

1、语义不一致,再低层次时候,细节丰富但是语义弱,再高层次的时候语义强但是细节少,

直接拼接会造成,导致 "小目标被高层语义掩盖、大目标丢失低层细节";

2、空间一致:不同的尺度分辨率不同,(如 P3 是 64×64,P5 是 16×16)

上下采样后空间对齐误差大。同一目标在不同尺度特征中的位置、形状存在偏差。

三、ASFF 的核心原理:空间自适应加权融合

1、ASFF针对每个空间位置,去学习不同尺度额权重,实现局部最优融合,并非全局

2、统一分辨率:对不同的输入尺度,使用上下采样变的统一/如 ASFF-L0 对应 P3 尺度,将 P4、P5 上采样到 P3 的分辨率)。

3、空间权重,为每个位置分为尺度权重,

4、加权融合,生成最终特征

讲对齐后的三个尺度特征,按照空间权重图挨个像素加权求和,得到后的融合特征

一、特征金字塔的主要问题是跨尺度特征冲突

1、再单阶段检测中,特征金字塔的不同层对应不同的尺度---(低层→小目标、高层→大目标);

2、当图像同时包含大小目标i哦,不同层级的特征会出现正负样本冲突----

(如小目标在高层特征中被误判为背景,大目标在低层特征中被误判为前景);

二、ASFF解决

自适应空间特征融合,

1、将不同尺度对其导统一分辨率

2、为每个空间位置学习不同尺度的权重,

3、保留的特征进行融合

三、ASFF融合机制

1、层次对齐,特征金字塔的不同层级,先将其他层级的特征上下参,和当前层级额分辨率一致

2、空间加权融合,对齐后的三个尺度特征,学习三个空间权重,最后挨个加权融合

3、检测分支

每个ASFF模块输出直接链接检测头,实现多尺度目标的识别

四、核心价值

1、ASFF ,通过层次对齐,空间自适应加权,动态解决多尺度特征的语义空间冲突

2、小目标区域强化低层次特征的权重,大目标会强化高层次的特征权重

3、几乎不增加计算开销,同时显著提升检测精度,是单阶段检测器中 "效率 - 精度" 平衡的关键模块

五、ASFF,融合机制,

1、特征金字塔的三个层级,将其他层次的特征使用上下采样,将分辨率变得一致

2、空间自适应加权,每个空间位置设置三个尺度的权重,通过加权求和的融合特征,

3、检测分支,每个ASSFF模块输出简介检测头

六、ASFF技术实现

一、特征尺度调整

1、上采样,使用1*1的卷积压缩通道,再使用双线性插值方法分辨率

2、下采样,通过带步长的卷积,同步调整通道数和分辨率

二、自适应融合

1、对 调整后的三个尺度特征,学习三个空间权重图,满足相加为1,

四、ASFF 的特征权重可视化

1、融合特征的效果:

权重图能动态强化对应尺度的有效特征,过滤无关信息,提升多尺度目标的检测精度

2、可视化只管的验证了ASFF的空间自适应加权的有效性,通过学习不同的尺度特征的权重,能够更加针对的去融合多尺度信息,

相关推荐
jay神11 小时前
一文讲清楚YOLOv26模型
人工智能·深度学习·yolo·机器学习·计算机视觉
qq_252941316811 小时前
无人机目标检测数据集(UAV Detection Dataset)| 无人机检测 反无人机 低空安防5001期
人工智能·yolo·目标检测·计算机视觉·视觉检测·无人机·反无人机
YOLO数据集集合15 小时前
蚊子视觉验证数据集 | 蚊虫识别 疟疾防控 病媒生物 细粒度分类 YOLO格式 深度学习数据集
深度学习·yolo·分类·数据集·蚊子分类·蚊虫分类·蚊虫识别
java1234_小锋16 小时前
YOLO26 计算机视觉 - YOLO26图片与视频推理 & 摄像头与实时检测
人工智能·yolo·计算机视觉·机器视觉·yolo26
YOLO数据集集合1 天前
蚊子目标检测数据集 | 蚊虫检测 病媒生物 智能硬件 轻量化模型 目标检测 YOLO格式 深度学习数据集9015期
深度学习·yolo·目标检测·计算机视觉·分类·智能硬件·蚊子识别
YOLO数据集集合2 天前
煤炭质量目标检测数据集 、| 煤炭检测 工业视觉 质量分级 异物检测 煤炭异物8005期
人工智能·yolo·目标检测·计算机视觉·分类·煤炭检测数据集·异物数据集
qq_25294131682 天前
窗户清洁检测数据集 | 窗户清洁检测 建筑运维 二分类任务 YOLO格式 深度学习数据集9019期
运维·人工智能·深度学习·yolo·目标检测·分类·窗户清晰度
YOLO数据集集合2 天前
尼帕果实目标检测数据集 | 尼帕果实检测 农业视觉 热带作物 目标检测 YOLO格式9013期
人工智能·yolo·目标检测·机器学习·计算机视觉·农业果实
qq_25294131682 天前
航拍垃圾堆检测数据集 | 航拍垃圾检测 固废管理 无人机巡检 环保监测9025期
yolo·目标检测·计算机视觉·分类·无人机·垃圾检测·垃圾
qq_25294131682 天前
建筑物缺陷目标检测数据集 | 建筑裂缝检测 房屋缺陷 结构损伤 目标检测9022期
人工智能·yolo·目标检测·计算机视觉·视觉检测·建筑裂缝·建筑外立面