【Win10安装Tensorrt和torch2trt】

Win10安装Tensorrt和torch2trt

  • [1 前言](#1 前言)
    • [1.1 实验环境](#1.1 实验环境)
    • [1.2 下载链接](#1.2 下载链接)
  • [2 具体安装](#2 具体安装)
    • [2.1 TensorRT安装](#2.1 TensorRT安装)
      • [2.1.1 设置环境变量](#2.1.1 设置环境变量)
      • [2.1.2 安装TensorRT资源包中的3个whl文件](#2.1.2 安装TensorRT资源包中的3个whl文件)
      • [2.1.3 复制tensorrt的库到CUDA安装目录的指定文件夹](#2.1.3 复制tensorrt的库到CUDA安装目录的指定文件夹)
    • [2.2 安装torch2trt](#2.2 安装torch2trt)
    • [2.3 验证是否安装成功](#2.3 验证是否安装成功)

1 前言

1.1 实验环境

(1)主机系统:Win10

(2)显卡: Quadro RTX 6000

(3)CUDA版本:V11.7.64

(4)Python:3.8.18

(5)TensorRT:8.6.1.6

1.2 下载链接

(1)TensorRT8.6.1.6下载链接(下载资源包): https://developer.nvidia.com/tensorrt

(2)pycuda下载链接((pip 离线安装):https://pypi.org/project/pycuda/2022.1/#history

也可在线下载:pip install pycuda;用于从 Python 访问Nvidia的CUDA并行计算 API。

(3)torch2trt下载链接((pip 离线安装):https://github.com/NVIDIA-AI-IOT/torch2trt

(4)在线安装onnx和cython: pip install onnx cython

2 具体安装

2.1 TensorRT安装

2.1.1 设置环境变量

1、 解压下载的资源包,并将TensorRT对应的lib位置添加至系统环境变量。

2.1.2 安装TensorRT资源包中的3个whl文件

如上图所示,分别在graphsurgeon、python、uff在3个文件夹中找到对应的以下3个whl文件,并使用pip install 进行安装。

python 复制代码
pip install graphsurgeon-0.4.6-py2.py3-none-any.whl
pip install tensorrt-8.6.1-cp38-none-win_amd64.whl
pip install uff-0.6.9-py2.py3-none-any.whl

2.1.3 复制tensorrt的库到CUDA安装目录的指定文件夹

(1)将 TensorRT-8.6.1.6\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\include

(2)将TensorRT-8.6.1.6\lib 中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\lib\x64

(3)将TensorRT-8.6.1.6\lib 中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin

2.2 安装torch2trt

bash 复制代码
git clone https://github.com/NVIDIA-AI-IOT/torch2trt.git
cd torch2trt
python setup.py install

2.3 验证是否安装成功

不报错即表示安装成功!

相关推荐
青少儿编程课堂10 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
Starry-sky(jing)11 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
2601_9679791211 小时前
“Python,就是新的 BASIC!”
python·编程语言·历史·basic·比较
青少儿编程课堂11 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:Dinic最大流解析
c++·python·算法·bfs·信息学竞赛
专注仿真11 小时前
基于 AFSIM 的智能体训练:多智能体强化学习篇 —— QTRAN 算法实战
开发语言·python·算法·php·强化学习·afsim智能体·仿真训练
2601_9679873713 小时前
Python类变量和实例变量(类属性和实例属性)
python·类变量·实例变量·类属性·实例属性
CyrusYiVPP13 小时前
新用户第二周还剩几个?pandas做留存率cohort分析,数据分析实战第6期
人工智能·python
岁月宁静1 天前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者1 天前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
starzy19901 天前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala