Win10安装TensorRT

目录

什么是TensorRT

下载TensorRT

安装TensorRT

拷贝文件

安装whl文件

验证是否安装成功


什么是TensorRT

TensorRT是由Nvidia推出的C++语言开发的高性能神经网络推理库,是一个用于生成部署的优化器和运行时引擎。和cudnn类似,但它不支持训练,只支持模型推理。且比cudnn模型推理效率更高。

下载TensorRT

官网下载地址。根据已经安装的CUDA Driver版本决定TensorRT的安装版本。

EA ,即Early Access,抢先体验版本;

GA ,即General Availability,稳定版本;

安装TensorRT

拷贝文件

解压安装包后,如下图所示:

将bin、lib、include三个文件夹的内容分别拷贝到CUDA安装目录对应的文件夹中。

注意:dll可能在lib文件夹中,不在bin文件夹中。需要将dll拷贝到CUDA安装目录下的bin文件夹中

安装whl文件

使用pip install命令安装graphsurgeon、onnx_graphsurgeon、uff、python文件夹内的whl文件。

举例说明:

进入到graphsurgeon文件内

在路径栏输入:cmd,并按下回车键,会弹出命令窗口

在命令窗口中输入:pip install graphsurgeon-0.4.6-py2.py3-none-any.whl,按下回撤完成安装

需要注意的是,python文件夹内包含多个文件。根据电脑中安装的python版本选择安装哪一个文件。我的python版本为3.11,因此安装下图箭头所示的文件。lean是精简版,dispatch是包含动态调度的版本,这两个版本可以不安装。

验证是否安装成功

打开命令窗口,输入pyhton,输入import tensorrt,再输入tensorrt.version,显示版本代表安装成功。

相关推荐
资讯分享周27 分钟前
数字中国浪潮下:Coremail AI赋能邮件办公,筑牢安全防线引领转型
人工智能·安全
蜡笔小电芯40 分钟前
【OpenCV】第一章——基础知识
人工智能·opencv·计算机视觉
jndingxin41 分钟前
OpenCV 图形API(71)图像与通道拼接函数-----从图像(GMat)中裁剪出一个矩形区域的操作函数 crop()
人工智能·opencv·计算机视觉
亚图跨际2 小时前
大脑、机器人与贝叶斯信念及AI推理
人工智能·机器人
MonkeyKing_sunyuhua2 小时前
6.1 客户服务:智能客服与自动化支持系统的构建
人工智能·agent
啊阿狸不会拉杆3 小时前
人工智能数学基础(三):微积分初步
人工智能·python·算法·数学建模
蜂耘3 小时前
面向人工智能、量子科技、人形机器人等产业,山东启动制造业创新中心培育认定
人工智能·科技·机器人
深眸财经4 小时前
业绩回暖、股价承压,三只松鼠赴港上市能否重构价值锚点?
人工智能
AIwenIPgeolocation4 小时前
硬件加密+本地部署,大模型一体机如何打造AI安全护城河?
人工智能·安全
非凸科技4 小时前
非凸科技受邀出席AI SPARK活动,共探生成式AI驱动金融新生态
人工智能·科技·金融