Win10安装TensorRT

目录

什么是TensorRT

下载TensorRT

安装TensorRT

拷贝文件

安装whl文件

验证是否安装成功


什么是TensorRT

TensorRT是由Nvidia推出的C++语言开发的高性能神经网络推理库,是一个用于生成部署的优化器和运行时引擎。和cudnn类似,但它不支持训练,只支持模型推理。且比cudnn模型推理效率更高。

下载TensorRT

官网下载地址。根据已经安装的CUDA Driver版本决定TensorRT的安装版本。

EA ,即Early Access,抢先体验版本;

GA ,即General Availability,稳定版本;

安装TensorRT

拷贝文件

解压安装包后,如下图所示:

将bin、lib、include三个文件夹的内容分别拷贝到CUDA安装目录对应的文件夹中。

注意:dll可能在lib文件夹中,不在bin文件夹中。需要将dll拷贝到CUDA安装目录下的bin文件夹中

安装whl文件

使用pip install命令安装graphsurgeon、onnx_graphsurgeon、uff、python文件夹内的whl文件。

举例说明:

进入到graphsurgeon文件内

在路径栏输入:cmd,并按下回车键,会弹出命令窗口

在命令窗口中输入:pip install graphsurgeon-0.4.6-py2.py3-none-any.whl,按下回撤完成安装

需要注意的是,python文件夹内包含多个文件。根据电脑中安装的python版本选择安装哪一个文件。我的python版本为3.11,因此安装下图箭头所示的文件。lean是精简版,dispatch是包含动态调度的版本,这两个版本可以不安装。

验证是否安装成功

打开命令窗口,输入pyhton,输入import tensorrt,再输入tensorrt.version,显示版本代表安装成功。

相关推荐
飞哥数智坊1 天前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三1 天前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯1 天前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet1 天前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算1 天前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
机器之心1 天前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai
Juchecar1 天前
交叉熵:深度学习中最常用的损失函数
人工智能
林木森ai1 天前
爆款AI动物运动会视频,用Coze(扣子)一键搞定全流程(附保姆级拆解)
人工智能·aigc
聚客AI1 天前
🙋‍♀️Transformer训练与推理全流程:从输入处理到输出生成
人工智能·算法·llm
BeerBear1 天前
【保姆级教程-从0开始开发MCP服务器】一、MCP学习压根没有你想象得那么难!.md
人工智能·mcp