本文为 RT-DETR 改进系列纯净发布稿，写法采用模块化技术博文形式：先讲痛点，再讲结构，再给配置、训练方式、实验表格和注意事项。全文仅保留技术正文，便于直接发布。
摘要
本文围绕 2D 轻量解码 展开。该版本属于 结构裁剪 方向，目标是在 RT-DETR 端到端检测框架中完成可复现、可对照、可训练的结构设计。相比只给模型文件，本文更关注为什么这样改、改在什么位置、如何训练、如何做消融，以及实验时应该重点观察哪些指标。
一、为什么要做这个改进
RT-DETR 在保持端到端检测优势的同时，颈部多尺度融合仍然会带来一定计算开销。2D 版本的核心思想是减少一次下采样融合路径，将解码器输入重组为更短的多尺度链路，从而优先压低 neck 端的计算量和延迟。
对于目标检测任务来说，结构改进不能只看单次训练的 mAP，还要看参数量、计算量、显存占用、FPS、收敛速度以及小目标表现。尤其是 RT-DETR 这类端到端检测器，解码器输入特征的质量会直接影响最终预测框和类别分数。
二、核心思想
2D 轻量解码不是简单删层，而是围绕解码器输入做结构重组。它保留 P3/P4 与高层语义特征的有效连接，同时去掉一段额外的下采样、拼接和 RepC3 处理，让 RTDETRDecoder 直接接收更短路径上的多尺度特征。
可以把这篇文章的核心理解为一句话：轻装上阵，实时优先。
| 对比维度 | 关注内容 | 实验观察点 |
|---|---|---|
| 精度 | mAP50、mAP50-95、召回率 | 是否稳定高于基线 |
| 速度 | FPS、单张推理耗时 | 是否适合实时检测 |
| 复杂度 | Params、GFLOPs、显存 | 是否增加部署压力 |
| 稳定性 | 多次训练波动 | 是否容易复现 |
三、网络结构变化
主要变化发生在 head/neck 后半段：原始基线包含第二次 downsample_convs.1、cat Y5 和 pan_blocks.1；2D 版本移除这段路径，并把 RTDETRDecoder 的输入调整为 [[21, 24, 12]]。
text
输入图像
|
Backbone 提取 P3/P4/P5 多尺度特征
|
Hybrid Encoder / Neck 特征融合
|
2D 轻量解码
|
RTDETRDecoder 端到端解码
|
输出预测框、类别和置信度关键位置如下：
| 层号 | 位置 | 模块/结构 | 说明 |
|---|---|---|---|
| 3 | backbone | - |
# This variant ports the corresponding YOLO26 improvement into the RT-DETR neck/backbone while preserving RTDETRDecoder. |
| 48 | head/neck | RTDETRDecoder |
- [[21, 24, 12], 1, RTDETRDecoder, [nc]] # RT-DETR 2-downsample neck decoder inputs |
四、YAML 配置片段
本文对应配置文件：ultralytics/cfg/models/rt-detr/rtdetr-l-2D.yaml。
yaml
001:
002: # Ultralytics RT-DETR-l hybrid object detection model with P3/8 - P5/32 outputs
003: # This variant ports the corresponding YOLO26 improvement into the RT-DETR neck/backbone while preserving RTDETRDecoder.
004:
005: # Parameters
...
046: - [-1, 3, RepC3, [256]] # F4 (24), pan_blocks.0
047:
048: - [[21, 24, 12], 1, RTDETRDecoder, [nc]] # RT-DETR 2-downsample neck decoder inputs与基线配置的差异摘录如下：
diff
--- rtdetr-l.yaml
+++ current.yaml
@@ -8,7 +8,7 @@
-# RT-DETR-l backbone (base)
+# RT-DETR-l backbone (2D)
@@ -45,8 +45,4 @@
- - [-1, 1, Conv, [256, 3, 2]] # 25, downsample_convs.1
- - [[-1, 12], 1, Concat, [1]] # cat Y5
- - [-1, 3, RepC3, [256]] # F5 (27), pan_blocks.1
-
- - [[21, 24, 27], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)
+ - [[21, 24, 12], 1, RTDETRDecoder, [nc]] # RT-DETR 2-downsample neck decoder inputs五、训练方式
Python 训练入口如下：
python
from ultralytics import RTDETR
model = RTDETR("ultralytics/cfg/models/rt-detr/rtdetr-l-2D.yaml")
results = model.train(
data="coco128.yaml",
epochs=1000,
imgsz=640,
optimizer="MuSGD",
)命令行训练方式如下：
bash
yolo detect train model=ultralytics/cfg/models/rt-detr/rtdetr-l-2D.yaml data=coco128.yaml epochs=1000 imgsz=640 optimizer=MuSGD如果训练自己的数据集，只需要把 data=coco128.yaml 改成自己的数据集配置文件即可。
六、实验记录模板
| 模型 | 配置文件 | Params | GFLOPs | mAP50 | mAP50-95 | FPS | 备注 |
|---|---|---|---|---|---|---|---|
| RT-DETR-l | rtdetr-l.yaml |
待测 | 待测 | 待测 | 待测 | 待测 | 基线 |
| RT-DETR + 2D 轻量解码 | rtdetr-l-2D.yaml |
待测 | 待测 | 待测 | 待测 | 待测 | 本文改进 |
建议再补充一张小目标统计表：
| 模型 | AP-small | AP-medium | AP-large | Recall | 误检变化 |
|---|---|---|---|---|---|
| 基线 | 待测 | 待测 | 待测 | 待测 | 待分析 |
| 改进 | 待测 | 待测 | 待测 | 待测 | 待分析 |
七、消融实验建议
| 编号 | 实验设置 | 目的 |
|---|---|---|
| A0 | 原始 rtdetr-l.yaml |
建立统一对照 |
| A1 | rtdetr-l-2D.yaml |
验证单模块收益 |
| A2 | 相同配置增加训练轮次 | 判断是否只是收敛速度变化 |
| A3 | 更换输入尺寸 | 观察小目标和速度变化 |
| A4 | 导出部署模型 | 检查推理端真实速度 |
八、注意事项
- 不建议一次叠加多个模块，否则无法判断收益来自哪里。
- 训练前先确认模型能正常构建和前向传播。
- 实验记录必须固定数据集划分、输入尺寸、训练轮次和增强策略。
- 如果出现通道不匹配，优先检查 YAML 中 RTDETRDecoder 的输入层索引。
- 如果 FPS 没有提升，需要进一步检查导出格式、推理后端和 batch 设置。
九、总结
2D 轻量解码 是 RT-DETR 改进系列中的第 2 篇。本文围绕 结构裁剪 展开，重点不是堆砌模块名称，而是把改进动机、结构位置、训练入口和消融方式讲清楚。后续只要保持同一套实验条件，就可以把该版本与更多模块进行公平对照。
关键词
RT-DETR,轻量化,目标检测,实时检测