制作显卡版docker并配置TensorTR环境

感谢阅读

相关概念

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个模型推理框架,支持C++和Python推理。即我们利用Pytorch,Tensorflow或者其它框架训练好的模型,可以转化为TensorRT的格式,然后利用TensorRT推理引擎去运行该模型,从而提升这个模型在NVIDIA-GPU上运行的速度。

cudnn是NVIDIA推出的用于自家GPU进行神经网络训练和推理的加速库,用户可通过cudnn的API搭建神经网络并进行推理,cudnn则会将神经网络的计算进行优化,再通过cuda调用gpu进行运算,从而实现神经网络的加速(当然你也可以直接使用cuda搭建神经网络模型,而不通过cudnn,但运算效率会低很多)

tensorrt其实跟cudnn有点类似,也是NVIDIA推出的针对自家GPU进行模型推理的加速库,只不过它不支持训练,只支持模型推理。相比于cudnn,tensorrt在执行模型推理时可以做到更快。(训练需要精确,推理不需要那么精确)

docker准备

下载一个自己电脑cuda匹配的docker镜像

比如我下载的是

python 复制代码
nvidia/cuda:12.3.0-base-ubuntu22.04

怎么查自己电脑的cuda?

python 复制代码
nvcc --version

拉取以及启动镜像

拉取镜像

python 复制代码
docker pull  nvidia/cuda:12.3.0-base-ubuntu22.04

启动

python 复制代码
docker run -itd --gpus device=0 --name=tensorrt_test nvidia/cuda:12.3.0-base-ubuntu22.04

进入容器

python 复制代码
docker exec -it tensorrt_test bash

安装cuda

先准备环境

python 复制代码
apt-get install build-essential 
apt-get install cmake
apt-get install ubuntu-drivers-common
ubuntu-drivers devices

然后根据提示的版本

apt-get install nvidia-driver-版本号

python 复制代码
nvidia-smi

如果出现类似这样的结果就成功了

TensorRT部署教程

点我跳转

相关推荐
fuyongliang1231 小时前
linux Nginx服务配置介绍,和配置流程
运维·服务器·网络
UNbuff_03 小时前
Linux bzip2 命令使用说明
linux·运维·服务器
IOT-Power3 小时前
Ubuntu下把 SD 卡格式化为 FAT32
linux·运维·ubuntu
m_136873 小时前
Mac Intel 芯片部署 YOLO(Docker 方式,支持离线打包与 Compose 管理)
yolo·macos·docker
潘晓可4 小时前
Nextcloud 实战:打造属于你的私有云与在线协作平台
docker
衍余未了4 小时前
centos9 docker启动不起来,docker启动发生堵塞问题!
运维·docker·容器
LJC_Superman4 小时前
Web与Nginx网站服务
运维·服务器·前端·网络·数据库·nginx·vim
proware4 小时前
昇腾310i Pro固件说明
linux·运维·服务器
烟雨书信5 小时前
安全运维和系统安全
运维·安全
我真的是大笨蛋5 小时前
K8S-基础架构
笔记·云原生·容器·kubernetes