制作显卡版docker并配置TensorTR环境

感谢阅读

相关概念

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个模型推理框架,支持C++和Python推理。即我们利用Pytorch,Tensorflow或者其它框架训练好的模型,可以转化为TensorRT的格式,然后利用TensorRT推理引擎去运行该模型,从而提升这个模型在NVIDIA-GPU上运行的速度。

cudnn是NVIDIA推出的用于自家GPU进行神经网络训练和推理的加速库,用户可通过cudnn的API搭建神经网络并进行推理,cudnn则会将神经网络的计算进行优化,再通过cuda调用gpu进行运算,从而实现神经网络的加速(当然你也可以直接使用cuda搭建神经网络模型,而不通过cudnn,但运算效率会低很多)

tensorrt其实跟cudnn有点类似,也是NVIDIA推出的针对自家GPU进行模型推理的加速库,只不过它不支持训练,只支持模型推理。相比于cudnn,tensorrt在执行模型推理时可以做到更快。(训练需要精确,推理不需要那么精确)

docker准备

下载一个自己电脑cuda匹配的docker镜像

比如我下载的是

python 复制代码
nvidia/cuda:12.3.0-base-ubuntu22.04

怎么查自己电脑的cuda?

python 复制代码
nvcc --version

拉取以及启动镜像

拉取镜像

python 复制代码
docker pull  nvidia/cuda:12.3.0-base-ubuntu22.04

启动

python 复制代码
docker run -itd --gpus device=0 --name=tensorrt_test nvidia/cuda:12.3.0-base-ubuntu22.04

进入容器

python 复制代码
docker exec -it tensorrt_test bash

安装cuda

先准备环境

python 复制代码
apt-get install build-essential 
apt-get install cmake
apt-get install ubuntu-drivers-common
ubuntu-drivers devices

然后根据提示的版本

apt-get install nvidia-driver-版本号

python 复制代码
nvidia-smi

如果出现类似这样的结果就成功了

TensorRT部署教程

点我跳转

相关推荐
꧁坚持很酷꧂16 分钟前
Linux Ubuntu18.04下安装Qt Craeator 5.12.9(图文详解)
linux·运维·qt
时迁24717 分钟前
【k8s】k8s是怎么实现自动扩缩的
云原生·容器·kubernetes·k8s
小诸葛的博客2 小时前
详解Linux中的定时任务管理工具crond
linux·运维·chrome
一默19912 小时前
CentOS 7.9升级OpenSSH到9.9p2
linux·运维·centos
BranH3 小时前
Linux系统中命令设定临时IP
linux·运维·服务器
极小狐3 小时前
极狐GitLab 项目功能和权限解读
运维·git·安全·gitlab·极狐gitlab
宁酱醇3 小时前
GitLab_密钥生成(SSH-key)
运维·ssh·gitlab
秋风起,再归来~3 小时前
【Linux庖丁解牛】—进程优先级!
linux·运维·服务器
诡异森林。3 小时前
Docker--Docker网络原理
网络·docker·容器
Lalolander4 小时前
设备制造行业如何避免项目管理混乱?
运维·制造·工程项目管理·四算一控·epc·环保设备工程·设备制造