RT-DETR融合CVPR[2020]自校准卷积SCConv模块及相关改进思路


RT-DETR使用教程: RT-DETR使用教程

RT-DETR改进汇总贴:RT-DETR更新汇总贴


《Improving Convolutional Networks with Self-Calibrated Convolutions》

一、 模块介绍

论文链接:http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf

代码链接:https://mmcheng.net/scconv/

论文速览:

CNN 的最新进展主要致力于设计更复杂的架构以提高其表示学习能力。在本文中,我们考虑在不调整模型架构的情况下改进 CNN 的基本卷积特征转换过程。为此,我们提出了一种新的自校准卷积,它通过内部通信显式扩展了每个卷积层的视野,从而丰富了输出特征。特别是,与使用小内核(例如 3 × 3)融合空间和通道信息的标准卷积不同,我们的自校准卷积通过一种新颖的自校准操作,在每个空间位置自适应地构建长距离空间和通道间依赖关系。因此,它可以通过明确地整合更丰富的信息来帮助 CNN 生成更具鉴别性的表示。我们的自校准卷积设计简单通用,可以轻松应用于增强标准卷积层,而无需引入额外的参数和复杂性。大量实验表明,当将我们的自校准卷积应用于不同的主干网时,基线模型可以在各种视觉任务中得到显著改进,包括图像识别、对象检测、实例分割和关键点检测,而无需改变网络架构。我们希望这项工作可以为未来的研究提供一种有前途的方法,为设计新颖的卷积特征转换以改进卷积网络。

**总结:一种自校准卷积模块,与其他模块融合效果更佳。**​


二、 加入到RT-DETR中

2.1 创建脚本文件

首先在ultralytics->nn路径下创建blocks.py脚本,用于存放模块代码。

2.2 复制代码

复制代码粘到刚刚创建的blocks.py脚本中,如下图所示:

class SCConv(nn.Module):
    def __init__(self, c1, c2, s=1, d=1, g=1, pooling_r=4):
        super(SCConv, self).__init__()
        self.k2 = nn.Sequential(
                    nn.AvgPool2d(kernel_size=pooling_r, stride=pooling_r),
                    Conv(c1, c1, k=3, d=d, g=g, act=False)
                    )
        self.k3 = Conv(c1, c1, k=3, d=d, g=g, act=False)
        self.k4 = Conv(c1, c2, k=3, s=s, d=d, g=g, act=False)
 
    def forward(self, x):
        identity = x
        assert x.shape[-1] >5  and x.shape[-2] > 5,  "输入尺寸太小"
        out = torch.sigmoid(torch.add(identity, F.interpolate(self.k2(x), identity.size()[2:]))) # sigmoid(identity + k2)
        out = torch.mul(self.k3(x), out)    # k3 * sigmoid(identity + k2)
        out = self.k4(out)  # k4
 
        return out

2.3 更改task.py文件

打开ultralytics->nn->modules->task.py,在脚本空白处导入函数。

from ultralytics.nn.blocks import *

之后找到模型解析函数parse_model(约在tasks.py脚本中940行左右位置,可能因代码版本不同变动),在该函数的最后一个else分支上面增加相关解析代码。

        elif m is SCConv:
            c2 = args[0]
            args = [ch[f], *args]

2.4 更改yaml文件

yam文件解读:YOLO系列 ".yaml"文件解读_yolo yaml文件-CSDN博客

打开更改ultralytics/cfg/models/rt-detr路径下的rtdetr-l.yaml文件,替换原有模块。(放在该位置仅能插入该模块,具体效果未知。博主精力有限,仅完成与其他模块二次创新融合的测试,结构图见文末,代码见群文件更新。)

# Ultralytics YOLO 🚀, AGPL-3.0 license
# RT-DETR-l object detection model with P3-P5 outputs. For details see https://docs.ultralytics.com/models/rtdetr

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n-cls.yaml' will call yolov8-cls.yaml with scale 'n'
  # [depth, width, max_channels]
  l: [1.00, 1.00, 1024]

backbone:
  # [from, repeats, module, args]
  - [-1, 1, HGStem, [32, 48]] # 0-P2/4
  - [-1, 6, HGBlock, [48, 128, 3]] # stage 1

  - [-1, 1, DWConv, [128, 3, 2, 1, False]] # 2-P3/8
  - [-1, 6, HGBlock, [96, 512, 3]] # stage 2

  - [-1, 1, DWConv, [512, 3, 2, 1, False]] # 4-P3/16
  - [-1, 2, SCConv, [512]] # cm, c2, k, light, shortcut
  - [-1, 6, HGBlock, [192, 1024, 5, True, True]]
  - [-1, 6, HGBlock, [192, 1024, 5, True, True]] # stage 3

  - [-1, 1, DWConv, [1024, 3, 2, 1, False]] # 8-P4/32
  - [-1, 6, HGBlock, [384, 2048, 5, True, False]] # stage 4

head:
  - [-1, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 10 input_proj.2
  - [-1, 1, AIFI, [1024, 8]]
  - [-1, 1, Conv, [256, 1, 1]] # 12, Y5, lateral_convs.0

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [7, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 14 input_proj.1
  - [[-2, -1], 1, Concat, [1]]
  - [-1, 3, RepC3, [256]] # 16, fpn_blocks.0
  - [-1, 1, Conv, [256, 1, 1]] # 17, Y4, lateral_convs.1

  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [3, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 19 input_proj.0
  - [[-2, -1], 1, Concat, [1]] # cat backbone P4
  - [-1, 3, RepC3, [256]] # X3 (21), fpn_blocks.1

  - [-1, 1, Conv, [256, 3, 2]] # 22, downsample_convs.0
  - [[-1, 17], 1, Concat, [1]] # cat Y4
  - [-1, 3, RepC3, [256]] # F4 (24), pan_blocks.0

  - [-1, 1, Conv, [256, 3, 2]] # 25, downsample_convs.1
  - [[-1, 12], 1, Concat, [1]] # cat Y5
  - [-1, 3, RepC3, [256]] # F5 (27), pan_blocks.1

  - [[21, 24, 27], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)

2.5 修改train.py文件

创建Train_RT脚本用于训练。

from ultralytics.models import RTDETR
import os
os.environ['KMP_DUPLICATE_LIB_OK'] = 'True'

if __name__ == '__main__':
    model = RTDETR(model='ultralytics/cfg/models/rt-detr/rtdetr-l.yaml')
    # model.load('yolov8n.pt')
    model.train(data='./data.yaml', epochs=2, batch=1, device='0', imgsz=640, workers=2, cache=False,
                amp=True, mosaic=False, project='runs/train', name='exp')

在train.py脚本中填入修改好的yaml路径,运行即可训。

三、相关改进思路(2024/11/16日群文件)

其余自研模块与二创模块融合代码及yaml文件见群文件。

⭐另外,融合上百种改进模块的YOLO项目仅79.9(含百种改进的v9),RTDETR79.9,含高性能自研模型,更易发论文,代码每周更新,欢迎点击下方小卡片加我了解。⭐

⭐⭐平均每个文章对应4-6个二创及自研融合模块⭐⭐


相关推荐
今天炼丹了吗1 天前
RT-DETR融合[ECCV 2018]RCAN中的RCAB模块及相关改进思路
rt-detr
给算法爸爸上香1 个月前
RT-DETR目标检测onnxruntime和tensorrt推理
人工智能·目标检测·计算机视觉·rt-detr
阿_旭5 个月前
超越YOLO! RT-DETR 实时目标检测技术介绍
人工智能·深度学习·yolo·目标检测·rt-detr