RT-DETR-V2 TensorRT C++ 部署

RT-DETRv2_TensorRT_Cplusplus

前几天看到RT-DETR都到V3了,有同事问搞过DETR没,之前还真部署玩过,写了两篇博客【DETR tensorRT 部署】【DETR tensorRT部署去除推理过程无用辅助头+fp16部署再次加速+解决转tensorrt 输出全为0问题的新方法】,当时部署DETR时有两个问题:第一个,不用预训练权重训练自己数据集MAP为0;第二个部署tensorRTs时输出全为0。第一个问题参考官方提供的加载预训练权重很容易解决,第二个问题部署tensorRT输出全为0的问题,网上资料很少,困扰了很久,反反复复思考,是找到了一个解决方法,但后续又详细研究了一下detr,最终想到一个解决的输出全为0的新方法,不仅部署简单而且速度更快。趁着这两天有时间抓紧折腾一下rt-detr,本来想部署一下rt-detr-v3,奈何代码还没开源,那就折腾一下rt-detr-v2。

RT-DETRv2 tensorrt C++ 部署

【完整代码】

本示例中,包含完整的代码、模型、测试图片、测试结果。

TensorRT版本:TensorRT-8.6.1.6

rt-detrv2 训练

训练参考官方开源代码。

导出onnx模型

在官方导出onnx 的基础上进行简单的调整,这里不需要动态batch,也不需要进行解码到输入分辨率,进行了如下调整:

python 复制代码
        def forward(self, images, orig_target_sizes):
            outputs = self.model(images)
            # outputs = self.postprocessor(outputs, orig_target_sizes)
            outputs = torch.sigmoid(outputs['pred_logits']), outputs['pred_boxes']
            return outputs


    model = Model()
    data = torch.rand(1, 3, 640, 640)

    torch.onnx.export(
        model, 
        data,
        args.output_file,
        input_names=['images'],
        output_names=['output1', 'output2'],
        opset_version=16, 
        verbose=False,
        do_constant_folding=True,
    )

最终导出的onnx结构如下:

onnx 运行结果

onnx 测试脚本【链接】

TensorRT C++ 部署

tensorrt 环境搭建参考官方文档,主要版本和cuda匹配。

1、修改Tensorrt使用版本

2、修改代码中模型对应的路径

3、编译运行

shellpower 复制代码
# 编译
cd RT-DETRv2_TensorRT_Cplusplus
mkdir build
cd build
cmake ..
make


# 运行
./detr_trt

tensorrt 运行结果

特别说明:本示例用fp16精度掉的非常多,默认使用的fp32。

运行时耗

本示例使用的是 rtdetrv2_r18vd_120e_coco.yml 模型,模型输入分别率640x640,显卡rtx4090,cuda12.5,fp32。

待解决问题

用FP16精度丢的很严重,目前还不知道为啥。

相关推荐
笑衬人心。11 分钟前
初学Spring AI 笔记
人工智能·笔记·spring
luofeiju21 分钟前
RGB下的色彩变换:用线性代数解构色彩世界
图像处理·人工智能·opencv·线性代数
测试者家园23 分钟前
基于DeepSeek和crewAI构建测试用例脚本生成器
人工智能·python·测试用例·智能体·智能化测试·crewai
张较瘦_27 分钟前
[论文阅读] 人工智能 + 软件工程 | Call Me Maybe:用图神经网络增强JavaScript调用图构建
论文阅读·人工智能·软件工程
大模型真好玩28 分钟前
准确率飙升!Graph RAG如何利用知识图谱提升RAG答案质量(四)——微软GraphRAG代码实战
人工智能·python·mcp
Baihai_IDP42 分钟前
vec2text 技术已开源!一定条件下,文本嵌入向量可“近乎完美地”还原
人工智能·面试·llm
江太翁1 小时前
Pytorch torch
人工智能·pytorch·python
拓端研究室1 小时前
专题:2025即时零售与各类人群消费行为洞察报告|附400+份报告PDF、原数据表汇总下载
大数据·人工智能
网安INF1 小时前
深度学习中的逻辑回归:从原理到Python实现
人工智能·python·深度学习·算法·逻辑回归
Despacito0o1 小时前
ESP32-s3摄像头驱动开发实战:从零搭建实时图像显示系统
人工智能·驱动开发·嵌入式硬件·音视频·嵌入式实时数据库