Win10安装TensorRT

进击的路飞桑2024-06-01 19:37

什么是TensorRT

TensorRT是由Nvidia推出的C++语言开发的高性能神经网络推理库，是一个用于生成部署的优化器和运行时引擎。和cudnn类似，但它不支持训练，只支持模型推理。且比cudnn模型推理效率更高。

官网下载地址。根据已经安装的CUDA Driver版本决定TensorRT的安装版本。

EA ，即Early Access，抢先体验版本；

GA ，即General Availability，稳定版本；

解压安装包后，如下图所示：

将bin、lib、include三个文件夹的内容分别拷贝到CUDA安装目录对应的文件夹中。

注意：dll可能在lib文件夹中，不在bin文件夹中。需要将dll拷贝到CUDA安装目录下的bin文件夹中

使用pip install命令安装graphsurgeon、onnx_graphsurgeon、uff、python文件夹内的whl文件。

举例说明：

进入到graphsurgeon文件内

在路径栏输入：cmd，并按下回车键，会弹出命令窗口

在命令窗口中输入：pip install graphsurgeon-0.4.6-py2.py3-none-any.whl，按下回撤完成安装

需要注意的是，python文件夹内包含多个文件。根据电脑中安装的python版本选择安装哪一个文件。我的python版本为3.11，因此安装下图箭头所示的文件。lean是精简版，dispatch是包含动态调度的版本，这两个版本可以不安装。

打开命令窗口，输入pyhton，输入import tensorrt，再输入tensorrt.version，显示版本代表安装成功。