【深度学习】TensorRT模型转换环境

XD7429716362024-06-22 14:18

Ubuntu 22.04 LTS、Cuda 12.3、Tensorrt 8.6.1、Python 3.10、A10G GPU

要在 Ubuntu 22.04 LTS 上使用 TensorRT 将模型转换为 TensorRT 格式，您需要安装一些必要的环境和依赖项。以下是详细的步骤：

更新系统：
sh 复制代码
```
sudo apt update
sudo apt upgrade
```
安装 CUDA 12.3：
- 前往 NVIDIA CUDA Toolkit 下载适用于 Ubuntu 22.04 的 CUDA 12.3 安装包。
- 按照 NVIDIA 官方文档中的步骤安装 CUDA 12.3。
确保 CUDA 已正确安装：
sh 复制代码
```
nvcc --version
```

安装 cuDNN：

前往 NVIDIA cuDNN 下载与 CUDA 12.3 兼容的 cuDNN。

解压并安装 cuDNN：

sh 复制代码

tar -xzvf cudnn-*-linux-x64-v*.tgz
sudo cp cuda/include/cudnn*.h /usr/local/cuda/include
sudo cp -P cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

安装 TensorRT 8.6.1：

前往 NVIDIA TensorRT 下载 TensorRT 8.6.1。

解压 TensorRT 安装包：

sh 复制代码

tar -xzvf TensorRT-8.6.1.0.Ubuntu-20.04.x86_64-gnu.cuda-12.3.cudnn8.6.tar.gz

将库文件复制到适当的位置：

sh 复制代码

cd TensorRT-8.6.1.0
sudo cp -r include/* /usr/local/include/
sudo cp -r lib/* /usr/local/lib/
sudo cp -r bin/* /usr/local/bin/
sudo ldconfig

安装 Python 3.10：
- Ubuntu 22.04 默认已包含 Python 3.10，但如果没有，可以通过以下命令安装：
  sh 复制代码
```
sudo apt install python3.10 python3.10-dev python3.10-venv
```
安装 Python 包管理工具：
sh 复制代码
```
sudo apt install python3-pip
```

设置 Python 虚拟环境：

sh 复制代码

python3.10 -m venv trt_env
source trt_env/bin/activate

安装 TensorRT Python 库：
- 安装依赖项：
  sh 复制代码
```
pip install numpy
```
- 从 TensorRT 的 Python 目录中安装 Python 库：
  sh 复制代码
```
cd TensorRT-8.6.1.0/python
pip install tensorrt-8.6.1-cp310-none-linux_x86_64.whl
```
安装 PyCUDA（可选，用于 CUDA 操作）：
sh 复制代码
```
pip install pycuda
```

验证安装：

python 复制代码

import tensorrt as trt
print(trt.__version__)

如果以上步骤均成功完成，您应该可以在 Ubuntu 22.04 上使用 TensorRT 将模型转换为 TensorRT 格式并运行推理任务。