制作显卡版docker并配置TensorTR环境

感谢阅读

相关概念

TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个模型推理框架,支持C++和Python推理。即我们利用Pytorch,Tensorflow或者其它框架训练好的模型,可以转化为TensorRT的格式,然后利用TensorRT推理引擎去运行该模型,从而提升这个模型在NVIDIA-GPU上运行的速度。

cudnn是NVIDIA推出的用于自家GPU进行神经网络训练和推理的加速库,用户可通过cudnn的API搭建神经网络并进行推理,cudnn则会将神经网络的计算进行优化,再通过cuda调用gpu进行运算,从而实现神经网络的加速(当然你也可以直接使用cuda搭建神经网络模型,而不通过cudnn,但运算效率会低很多)

tensorrt其实跟cudnn有点类似,也是NVIDIA推出的针对自家GPU进行模型推理的加速库,只不过它不支持训练,只支持模型推理。相比于cudnn,tensorrt在执行模型推理时可以做到更快。(训练需要精确,推理不需要那么精确)

docker准备

下载一个自己电脑cuda匹配的docker镜像

比如我下载的是

python 复制代码
nvidia/cuda:12.3.0-base-ubuntu22.04

怎么查自己电脑的cuda?

python 复制代码
nvcc --version

拉取以及启动镜像

拉取镜像

python 复制代码
docker pull  nvidia/cuda:12.3.0-base-ubuntu22.04

启动

python 复制代码
docker run -itd --gpus device=0 --name=tensorrt_test nvidia/cuda:12.3.0-base-ubuntu22.04

进入容器

python 复制代码
docker exec -it tensorrt_test bash

安装cuda

先准备环境

python 复制代码
apt-get install build-essential 
apt-get install cmake
apt-get install ubuntu-drivers-common
ubuntu-drivers devices

然后根据提示的版本

apt-get install nvidia-driver-版本号

python 复制代码
nvidia-smi

如果出现类似这样的结果就成功了

TensorRT部署教程

点我跳转

相关推荐
施努卡机器视觉31 分钟前
电解车间铜业机器人剥片技术是现代铜冶炼过程中自动化和智能化的重要体现
运维·机器人·自动化
徐浪老师33 分钟前
深入实践 Shell 脚本编程:高效自动化操作指南
运维·chrome·自动化
King's King36 分钟前
自动化立体仓库:详解
运维·自动化
东隆科技38 分钟前
晶圆测试中自动化上下料的重要性与应用
运维·自动化
酷酷学!!!1 小时前
Linux基础指令(汇总)
linux·运维·服务器
xiangshangdemayi1 小时前
Windows环境GeoServer打包Docker极速入门
windows·docker·容器·geoserver·打包·数据挂载
枫叶丹41 小时前
【在Linux世界中追寻伟大的One Piece】手写序列化与反序列化
linux·运维·网络
SchneeDuan1 小时前
建造者模式
运维·服务器·建造者模式
韦德斯2 小时前
嵌入式Linux的RTC读写操作应用
linux·运维·c语言·arm开发·实时音视频
程序员JerrySUN2 小时前
熟悉的 Docker,陌生的 Podman
linux·docker·容器·系统架构·podman