yolov8seg 瑞芯微RKNN、地平线Horizon芯片部署、TensorRT部署,部署工程难度小、模型推理速度快

之前写过yolov8seg部署,但在实际项目中没有真正的用,最近在项目尝试使用yolov8seg,把之前的yolov8目标检测的优化给同步到yolov8seg中。

特别说明:如有侵权告知删除,谢谢。

模型和完整仿真测试代码,放在github上参考链接 模型和代码

1 模型和训练

训练代码参考官方开源的yolov8训练代码。

2 导出 yolov8 onnx

导出onnx增加以下几行代码:

python 复制代码
        # 导出 onnx 增加
        y = []
        for i in range(self.nl):
            t1 = self.cv2[i](x[i])
            t2 = self.cv3[i](x[i])
            y.append(t1)
            y.append(t2)
        return y
python 复制代码
        # 导出 onnx 增加(修改)
        # mc = torch.cat([self.cv4[i](x[i]).view(bs, self.nm, -1) for i in range(self.nl)], 2)  # mask coefficients
        mc = [self.cv4[i](x[i]) for i in range(self.nl)]
        x = self.detect(self, x)
        return x, mc, p

增加保存onnx模型代码

python 复制代码
        print("===========  onnx =========== ")
        import torch
        dummy_input = torch.randn(1, 3, 640, 640)
        input_names = ["data"]
        output_names = ["cls1", "reg1", "cls2", "reg2", "cls3", "reg3", "mc1", "mc2", "mc3", "seg"]
        torch.onnx.export(self.model, dummy_input, "./yolov8nseg_relu_80class_dfl.onnx", verbose=False, input_names=input_names, output_names=output_names, opset_version=12)
        print("======================== convert onnx Finished! .... ")

修改完以上,运行推理脚本(运行会报错,但不影响onnx文件的生成)。

python 复制代码
from ultralytics import YOLO
# 推理
model = YOLO('./weights/yolov8nseg_relu_80class.pt')
results = model(task='detect', mode='predict', source='./images/test.jpg', line_width=3, show=True, save=True, device='cpu')

3 onnx测试效果

4 rknn 板端C++部署

C++完整部署代码和模型示例参考

把板端C++代码的模型和时耗也给贴出来供大家参考,使用芯片rk3588。相对之前在rk3588上推理45ms,降到了15ms;后处理时耗由5ms,增加到18.6ms;整个检测过程由
50ms,降到33ms

本篇部署方式时耗参考:

之前部署方式时耗参考:

相关推荐
szxinmai主板定制专家3 小时前
基于 ZYNQ ARM+FPGA+AI YOLOV4 的电网悬垂绝缘子缺陷检测系统的研究
arm开发·人工智能·嵌入式硬件·yolo·fpga开发
飞翔的佩奇6 小时前
【完整源码+数据集+部署教程】 水果叶片分割系统: yolov8-seg-dyhead
人工智能·yolo·计算机视觉·数据集·yolov8·yolo11·水果叶片分割系统
Hcoco_me16 小时前
YOLO入门教程(番外):目标检测的一阶段学习方法
yolo·目标检测·学习方法
七芒星202318 小时前
多目标识别YOLO :YOLOV3 原理
图像处理·人工智能·yolo·计算机视觉·目标跟踪·分类·聚类
深瞳智检1 天前
YOLO算法原理详解系列 第007期-YOLOv7 算法原理详解
人工智能·算法·yolo·目标检测·计算机视觉·目标跟踪
羊羊小栈1 天前
基于「YOLO目标检测 + 多模态AI分析」的光伏板缺陷检测分析系统(vue+flask+模型训练+AI算法)
vue.js·人工智能·yolo·目标检测·flask·毕业设计·大作业
B站计算机毕业设计之家2 天前
智慧交通项目:Python+PySide6 车辆检测系统 YOLOv8+OpenCV 自定义视频 自定义检测区域 (源码+文档)✅
大数据·python·opencv·yolo·智慧交通·交通·车流量
Mrs.Gril3 天前
目标检测:yolov7算法在RK3588上部署
算法·yolo·目标检测
格林威3 天前
工业视觉检测里的 “柔性” 是什么?
图像处理·人工智能·深度学习·yolo·计算机视觉·视觉检测
霍夫曼vx_helloworld73523 天前
yolov8模型在指针式表盘读数中的应用【代码+数据集+python环境+GUI系统】
大数据·python·yolo