
已在GitHub开源与本博客同步的SAM3_AGXOrin
项目,地址:https://github.com/A7bert777/Qwen2.5_VL_RK1828
详细使用教程,可参考README.md或参考本博客第七章 RK1828边缘部署
注:本文是以Jetson AGX Orin 为部署平台,其他型号设备也酌情参考
文章目录
一、项目简介
博主之前主要使用瑞芯微、昇腾、地平线、英伟达系列的SoC及对应生态,进行YOLO、Unet等常规视觉模型的部署以及Qwen、LocateAnything等LLM、VLM的边缘部署,最近考虑到要做语义分割,之前也接触过Meta的SAM,而且已经出到了最新的SAM3,加入了LLM结构,可以实现Point点选以及文字描述进行语义分割了,但发现CSDN上目前没有什么比较详细的免费文章与开源项目供大家入手.因此自己尝试进行完整流程的部署,遂以此文分享,供大家一起学习。

博主之前有写过在华为Ascend、瑞芯微RK系列、地平线Sunrise系列的SoC上的YOLOv8目标检测&图像分割、YOLOv10目标检测、MoblieNetv2图像分类的以及模型训练、转换、部署文章,也包括部分LLM、VLM的部署内容,感兴趣的小伙伴可以了解下:
【LocateAnything部署至AGX Orin】环境配置→模型部署→问题记录
【Qwen2.5VL-3B部署至RK1828】ONNX转换→模型量化→边缘部署
【YOLOv8cls部署至RDK X5】模型训练→转换bin→Sunrise 5部署
【YOLOv8pose部署至RDK X5】模型训练→转换bin→Sunrise 5部署
【YOLOv8seg部署至RDK X5】模型训练→转换bin→Sunrise 5部署
【YOLOv8det部署至RDK X5】模型训练→转换bin→Sunrise 5部署
【YOLOv8部署至Ascend 310B】模型训练→转换om→310B部署
【YOLO11-obb部署至RK3588】模型训练→转换RKNN→开发板部署
【YOLO11部署至RK3588】模型训练→转换RKNN→开发板部署
【YOLOv10部署RK3588】模型训练→转换rknn→部署流程
【YOLOv8-obb部署至RK3588】模型训练→转换RKNN→开发板部署
【YOLOv8-pose部署至RK3588】模型训练→转换RKNN→开发板部署
【YOLOv8seg部署RK3588】模型训练→转换rknn→部署全流程
【YOLOv8部署至RK3588】模型训练→转换rknn→部署全流程
【YOLOv7部署至RK3588】模型训练→转换RKNN→开发板部署
【YOLOv6部署至RK3588】模型训练→转换RKNN→开发板部署
【YOLOv5部署至RK3588】模型训练→转换RKNN→开发板部署
【MobileNetv2图像分类部署至RK3588】模型训练→转换rknn→部署流程
【ResNet50图像分类部署至RK3588】模型训练→转换RKNN→开发板部署
YOLOv8n部署RK3588开发板全流程(pt→onnx→rknn模型转换、板端后处理检测)
二、文件梳理
OK,进入正题,整个部署需要以下文件:
博主个人Github仓库:Qwen2.5_VL_RK1828,链接在此(需翻墙)