【技术】TensorRT 10.7 安装指南(Ubuntu22.04)

原文链接:https://mengwoods.github.io/post/tech/008-tensorrt-installation/

本文安装的版本如下:

Ubuntu 22.04

Nvidia Driver 538.78

CUDA 12.2

cuDNN 8.9.7

TensorRT 10.7

安装前的准备(可选)

在安装新版本之前,先卸载已有的 NVIDIA 驱动、CUDA、cuDNN 和 TensorRT,以避免冲突。

bash 复制代码
sudo apt remove --purge '^nvidia-.*' '^cuda.*' '^libcuda.*' '^libnvidia.*' '^tensorrt.*' '^cudnn.*'
sudo apt autoremove -y
sudo apt clean
# Remove CUDA Toolkit and Related Files
sudo rm -rf /usr/local/cuda*
sudo rm -rf /usr/lib/cuda*
# Remove NVIDIA Repository (If Installed)
sudo rm -f /etc/apt/sources.list.d/cuda*
sudo rm -f /etc/apt/sources.list.d/nvidia-*
# update your package lis
sudo apt update

验证卸载:

bash 复制代码
dpkg -l | grep -E 'cuda|nvidia|tensorrt|cudnn'

重新启动系统:

bash 复制代码
sudo reboot

重新启动后,检查是否卸载干净:

bash 复制代码
# Check Nvidia driver
nvidia-smi
# check CUDA
which nvcc

安装 NVIDIA 驱动

https://www.nvidia.com/en-us/drivers/

bash 复制代码
# install the latest supported driver
sudo ubuntu-drivers autoinstall
# install the specific version
sudo apt install nvidia-driver-xxx

安装 CUDA v12.2

https://developer.nvidia.com/cuda-12-2-0-download-archive

前往 CUDA 下载页面 获取安装说明,或直接使用以下命令(适用于 Ubuntu 22.04 x86_64)

bash 复制代码
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda
sudo apt-get install nvidia-cuda-toolkit

配置环境变量

bash 复制代码
# Update cuda path to .bashrc
echo 'export PATH=/usr/local/cuda-12.8/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
# 验证
nvcc --version

安装 cuDNN v8.9.7

https://developer.nvidia.com/rdp/cudnn-archive

前往 cuDNN 归档页面 下载对应 .deb 文件。

bash 复制代码
# 安装 cuDNN 相关的本地仓库
sudo dpkg -i cudnn-local-repo-ubuntu2004-8.9.7.29_1.0-1_amd64.deb
# 复制密钥(请根据你的文件夹路径调整)
sudo cp /var/cudnn-local-repo-ubuntu2004-8.9.7.29/cudnn-*-keyring.gpg /usr/share/keyrings/
# update and install
sudo apt-get update
sudo apt-get install libcudnn8
# verify installation
dpkg -l | grep cudnn

安装 TensorRT 10.7

https://developer.nvidia.com/tensorrt-getting-started

前往 TensorRT 官方页面 下载 .deb 文件。

bash 复制代码
# 安装 TensorRT 本地仓库(请确认文件名是否一致)
sudo dpkg -i nv-tensorrt-local-repo-ubuntu2204-10.7.0-cuda-12.6_1.0-1_amd64.deb
# 复制密钥(请确认文件夹路径是否正确)
sudo cp /var/nv-tensorrt-local-repo-ubuntu2204-10.7.0-cuda-12.6/nv-tensorrt-local-F234AD55-keyring.gpg /usr/share/keyrings/
# update package list
sudo apt-get update
# 安装 TensorRT
sudo apt-get install tensorrt
# 添加环境变量
echo 'export PATH=$PATH:/usr/src/tensorrt/bin' >> ~/.bashrc && source ~/.bashrc
source ~/.bashrc
# 验证安装
dpkg -l | grep nvinfer
sudo apt show tensorrt
trtexec --version
相关推荐
聆风吟º5 小时前
CANN runtime 全链路拆解:AI 异构计算运行时的任务管理与功能适配技术路径
人工智能·深度学习·神经网络·cann
User_芊芊君子5 小时前
CANN大模型推理加速引擎ascend-transformer-boost深度解析:毫秒级响应的Transformer优化方案
人工智能·深度学习·transformer
智驱力人工智能6 小时前
小区高空抛物AI实时预警方案 筑牢社区头顶安全的实践 高空抛物检测 高空抛物监控安装教程 高空抛物误报率优化方案 高空抛物监控案例分享
人工智能·深度学习·opencv·算法·安全·yolo·边缘计算
人工不智能5776 小时前
拆解 BERT:Output 中的 Hidden States 到底藏了什么秘密?
人工智能·深度学习·bert
h64648564h6 小时前
CANN 性能剖析与调优全指南:从 Profiling 到 Kernel 级优化
人工智能·深度学习
心疼你的一切6 小时前
解密CANN仓库:AIGC的算力底座、关键应用与API实战解析
数据仓库·深度学习·aigc·cann
学电子她就能回来吗8 小时前
深度学习速成:损失函数与反向传播
人工智能·深度学习·学习·计算机视觉·github
Coder_Boy_9 小时前
TensorFlow小白科普
人工智能·深度学习·tensorflow·neo4j
大模型玩家七七9 小时前
梯度累积真的省显存吗?它换走的是什么成本
java·javascript·数据库·人工智能·深度学习
kkzhang9 小时前
Concept Bottleneck Models-概念瓶颈模型用于可解释决策:进展、分类体系 与未来方向综述
深度学习