Yolov5缺陷检测/目标检测 Jetson nx部署Triton server

 使用AI目标检测进行缺陷检测时,部署到Jetson上即小巧算力还高,将训练好的模型转为tensorRT再部署到Jetson 上供http或GRPC调用。

1 Jetson nx 刷机

找个ubuntu 系统NVIDIA官网下载安装Jetson 的sdkmanager一步步刷机即可。

本文刷的是JetPack 5.1, 其中包含

CUDA 11.4

cuDNN 8.6.0

TensorRT 8.5.2.2

Python 3.8.10

Ubuntu 20.04

2 下载解压/安装/测试Triton Server

其实triton server 不用安装,直接下载解压开箱即用,要安装的是一堆依赖。

下载triton server 软件包,Release 2.35.0 corresponding to NGC container 23.06

找到下面tritonserver2.35.0-jetpack5.1.2.tgz下载到Jetson并解压到home。

根据jetson.md安装triton server 的依赖包,如果不在jetson上使用triton 客户端可以不装triton client 的依赖。

Triton server main分支下的docs文件夹下载后放到home/tritonserver2.35.0-jetpack5.1.2/tritonserver中,

$ cd docs/examples

$ ./fetch_models.sh

下载示例模型,cd 到home/tritonserver2.35.0-jetpack5.1.2/tritonserver/bin

$./tritonserver --model-repository=.../docs/examples/model_repository --backend-directory=.../backends

如果看到下图8001/8000/8002 说明示例打开成功,triton server 安装成功。

3 Train yolov5 model

使用ultralytics的yolov5 模型train 一个自己的model, 我选用的是yolov5l6,略微大一些, best.pt 153.1MB。

4 .pt 转ONNX 转TensorRT

个人认为只有使用TensorRT模型部署NVIDIA显卡才是推理速度最极致的体验。

Jetson 上官网下载一个Pycharm 软件压缩包,新建python环境。

安装yolov5的依赖,参考Deploy on NVIDIA Jetson using TensorRT and DeepStream SDK

安装到pytorch 和torchvision 即可,

再使用yolov5文件夹内export.py

修改615行 --weights default ROOT / 'best.py'

修改619行增加default=True使用半精度

修改638行default=['engine']

Terminal $python3 export.py 可以看到log是先生成best.onnx再生成best.engine

半小时后转化完毕。

5部署yolov5 到triton sever

在examples文件夹下新建自己的模型仓库文件夹zz_model_repository

新建模型文件夹yolov5l6再新建名称为1 的文件夹将best.engine copy进来改名为model.plan

在yolov5l6下新建文件config.pbtxt输入以下内容:

name: "yolov5l6"
platform: "tensorrt_plan"
max_batch_size: 1
input [
    {
        name: 'images'
        data_type: TYPE_FP16
        format: FORMAT_NCHW
        dims: [3, 640, 640]
    }
]
output [
    {
        name: 'output0'
        data_type: TYPE_FP16
        dims: [25500, 8]
    }
]
backend: 'tensorrt'

同样cd 到home/tritonserver2.35.0-jetpack5.1.2/tritonserver/bin

$./tritonserver --model-repository=.../docs/examples/zz_model_repository --backend-directory=.../backends

出现下图说明模型加载成功。

6Triton client 调用模型

这一部分就是开发相机,图像前处理,调用模型,图像后处理部分了,略过。

相关推荐
北京搜维尔科技有限公司25 分钟前
搜维尔科技:【应用】Xsens在荷兰车辆管理局人体工程学评估中的应用
人工智能·安全
说私域29 分钟前
基于开源 AI 智能名片 S2B2C 商城小程序的视频号交易小程序优化研究
人工智能·小程序·零售
YRr YRr29 分钟前
深度学习:Transformer Decoder详解
人工智能·深度学习·transformer
知来者逆34 分钟前
研究大语言模型在心理保健智能顾问的有效性和挑战
人工智能·神经网络·机器学习·语言模型·自然语言处理
云起无垠43 分钟前
技术分享 | 大语言模型赋能软件测试:开启智能软件安全新时代
人工智能·安全·语言模型
老艾的AI世界1 小时前
新一代AI换脸更自然,DeepLiveCam下载介绍(可直播)
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai换脸·视频换脸·直播换脸·图片换脸
翔云API1 小时前
PHP静默活体识别API接口应用场景与集成方案
人工智能
浊酒南街1 小时前
吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)4.9-4.10
人工智能·深度学习·神经网络·cnn
Tony聊跨境2 小时前
独立站SEO类型及优化:来检查这些方面你有没有落下
网络·人工智能·tcp/ip·ip
懒惰才能让科技进步2 小时前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝