YOLOv8-TensorRT C++ ubuntu部署

YOLOv8-TensorRT C++ ubuntu20.04部署

先要安装好显卡驱动、CUDA、CUDNN

以ubuntu20.04、显卡1650安装470版本的显卡驱动、11.3版本的CUDA及8.2版本的CUDNN为例

下载TensorRT

进入网站:

https://developer.nvidia.com/nvidia-tensorrt-8x-download

进行勾选下载:

TAR是免安装直接解压可用的

解压:

bash 复制代码
tar -zxvf TensorRT-8.4.2.4.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz

cd TensorRT-8.4.2.4/samples/sampleMNIST

make

cd ../../bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/YourPath/TensorRT-8.4.2.4/lib

./sample_mnist

终端打印出如下内容表明cuda+cudnn+tensorrt安装正常:

可以在.bashrc里面加入TensorRT的路径:

复制代码
# TensorRT
export TRT_PATH=/usr/local/TensorRT-8.4.2.4
export PATH=$PATH:$TRT_PATH/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TRT_PATH/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TRT_PATH/targets/x86_64-linux-gnu/lib

使用YOLOv8-TensorRT

先下载

https://github.com/triple-Mu/YOLOv8-TensorRT.git

bash 复制代码
git clone https://github.com/triple-Mu/YOLOv8-TensorRT.git

cd YOLOv8-TensorRT

pip install -r requirements.txt

C++ build:

CMakeLists中需要将TensorRT路径改一下

复制代码
# TensorRT
set(TensorRT_INCLUDE_DIRS /usr/include/x86_64-linux-gnu)
set(TensorRT_LIBRARIES /usr/lib/x86_64-linux-gnu)

加下来就可以编译了

复制代码
export root=${PWD}
cd csrc/detect/normal
mkdir build
cmake ..
make
mv yolov8 ${root}
cd ${root}

官方给出的model是pt格式,我们需要TensorRT要用的engine格式,

PyTorch model -> ONNX -> TensorRT Engine

Then,transform!

python 复制代码
# PyTorch model -> ONNX

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8s.pt")  # load a pretrained model (recommended for training)
success = model.export(format="onnx", opset=11, simplify=True)  # export the model to onnx format
assert success

ONNX -> TensorRT Engine需要用TensorRT

终端进入TensorRT目录

bash 复制代码
cd samples/trtexec
make

然后退到TensorRT进入bin文件夹可以看到trtexec可执行文件

复制代码
/bin/trtexec \
--onnx=yolov8s.onnx \
--saveEngine=yolov8s.engine \
--fp16

路径不要错就可以成功将onnx转为engine格式了,运行时间可能会有些长

如果在C++ build时遇到下面error可以按下面的解决方案:

复制代码
error: invalid initialization of reference of type 'std::vector<cv::String>&' from expression of type 'std::vector<std::__cxx11::basic_string<char> >'
   69 |         cv::glob(path + "/*.jpg", imagePathList);

将第46行:

c++ 复制代码
    std::vector<std::string> imagePathList;

改为:

c++ 复制代码
    std::vector<cv::string> imagePathList;

接下来就可以使用了

bash 复制代码
# infer image
./yolov8 yolov8s.engine data/bus.jpg
# infer images
./yolov8 yolov8s.engine data
# infer video
./yolov8 yolov8s.engine data/test.mp4 # the video path

如:

复制代码
./yolov8 pt/yolov8n.engine data/zidane.jpg
相关推荐
笑衬人心。1 小时前
Ubuntu 22.04 修改默认 Python 版本为 Python3 笔记
笔记·python·ubuntu
物联网老王11 小时前
Ubuntu Linux Cursor 安装与使用一
linux·运维·ubuntu
fangeqin20 小时前
ubuntu源码安装python3.13遇到Could not build the ssl module!解决方法
linux·python·ubuntu·openssl
风口上的吱吱鼠1 天前
Armbian 25.5.1 Noble Gnome 开启远程桌面功能
服务器·ubuntu·armbian
笑衬人心。1 天前
Ubuntu 22.04 + MySQL 8 无密码登录问题与 root 密码重置指南
linux·mysql·ubuntu
生如夏花℡1 天前
HarmonyOS学习记录3
学习·ubuntu·harmonyos
星宸追风1 天前
Ubuntu更换Home目录所在硬盘的过程
linux·运维·ubuntu
BD_Marathon1 天前
Ubuntu下的Tomcat服务器部署
服务器·ubuntu·tomcat
Edward-tan1 天前
基于 opencv+yolov8+easyocr的车牌追踪识别
python·opencv·ocr·yolov8
好奇的菜鸟2 天前
如何在 Ubuntu 24.04 (Noble) 上使用阿里源
linux·运维·ubuntu