FastSAM 部署 rknn

基于yolov8(ultralytics)工程导出的FastSAM的onnx模型,后处理和yolov8seg是一样的。

模型和完整测试代码

1 FastSAM 导出 onnx

导出onnx的方式有两种,一种使用FastSAM工程,一种是使用yolov8(ultralytics)工程。本篇博客使用yolov8工程进行导出onnx。导出FastSAM和导出yolov8seg需要修改的地方一样的。本示例使用的是FastSAM-s,效果不是很好。需要修改两个地方。

第一处修改:

python 复制代码
        # 导出 onnx 增加
        y = []
        for i in range(self.nl):
            t1 = self.cv2[i](x[i])
            t2 = self.cv3[i](x[i])
            y.append(t1)
            y.append(t2)
        return y

第二处修改:

python 复制代码
        # 导出 onnx 增加(修改)
        # mc = torch.cat([self.cv4[i](x[i]).view(bs, self.nm, -1) for i in range(self.nl)], 2)  # mask coefficients
        mc = [self.cv4[i](x[i]) for i in range(self.nl)]
        x = self.detect(self, x)
        return x, mc, p

增加保存onnx代码:

python 复制代码
        print("===========  onnx =========== ")
        import torch
        dummy_input = torch.randn(1, 3, 640, 640)
        input_names = ["data"]
        output_names = ["cls1", "reg1", "cls2", "reg2", "cls3", "reg3", "mc1", "mc2", "mc3", "seg"]
        torch.onnx.export(self.model, dummy_input, "./yolov8nseg_relu_80class_dfl.onnx", verbose=False, input_names=input_names, output_names=output_names, opset_version=12)
        print("======================== convert onnx Finished! .... ")

修改完以上运行如下代码:

python 复制代码
from ultralytics import FastSAM
from ultralytics.models.fastsam import FastSAMPrompt

model = FastSAM('./weights/FastSAM-s.pt')
image_path = './images/test.jpg'
everything_results = model(image_path, retina_masks=True, imgsz=640, conf=0.4, iou=0.9)

2 onnx 测试效果

3 RKNN板端测试效果

rknn仿真测试效果

板端实际效果(颜色配的不是很好,凑合看)

模型输入分辨率640x640,使用芯片rk3588。

相关推荐
开心-开心急了1 分钟前
PySide6 使用搜索引擎搜索 多类实现 更新1次
python·pyqt·pyside
万粉变现经纪人7 分钟前
如何解决 pip install -r requirements.txt 子目录可编辑安装缺少 pyproject.toml 问题
开发语言·python·scrapy·beautifulsoup·scikit-learn·matplotlib·pip
Blossom.11812 分钟前
把 AI“缝”进布里:生成式编织神经网络让布料自带摄像头
人工智能·python·单片机·深度学习·神经网络·目标检测·机器学习
滑水滑成滑头22 分钟前
**点云处理:发散创新,探索前沿技术**随着科技的飞速发展,点云处理技术在计算机视觉、自动驾驶、虚拟现实等领域的应用愈发广
java·python·科技·计算机视觉·自动驾驶
gc_22991 小时前
学习Python中Selenium模块的基本用法(19:操作下拉框)
python·selenium
我的xiaodoujiao1 小时前
使用 Python 语言 从 0 到 1 搭建完整 Web UI自动化测试学习系列 19--测试框架Pytest基础 3--前后置操作应用
python·学习·测试工具·pytest
计算衎1 小时前
基于Python实现CANoe和UDE交互通信工具实现,CAPL脚本通过python交互工具与UDE进行通信和调用UDE的组件获取UDE返回值。
python·capl·canoe·ude·nm_oncan
报错小能手1 小时前
python(入门)map内置函数及import模块导入,as别名
开发语言·人工智能·python