triton backend 模式docker 部署 pytorch gpu模型 镜像选择

1.选取镜像类型

参考 官方tag 对应的镜像地址

https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver?version=25.09-trtllm-python-py3

nvcr.io/nvidia/tritonserver 镜像主要分为三类

pyt-python-py3

trtllm-python-py3

py3

看下图

可以看出 py3 < pyt < llm Py3

因为本次安装的是基于 pytorch pth模型，同时需要pytorch 进行数据处理成张量。所以选择 pyt-python-py3

2.确定镜像版本

查看 机器的cuda 和驱动版本

nvidia-smi

NVIDIA-SMI 545.23.08 Driver Version: 545.23.08 CUDA Version: 12.3

确定镜像的版本，否则镜像是不能支持对应的版本的。 nvidia的官网 不同版本对应的环境

https://docs.nvidia.com/deeplearning/triton-inference-server/release-notes/rel-23-11.html#rel-23-11

3.安装pytorch

虽然镜像说是提供了pytorch 但是依旧需要下载torch 包，可能是我选择的版本问题吧...

pip install torch==2.3.1 torchvision==0.18.1 --extra-index-url https://download.pytorch.org/whl/cu121   -i https://pypi.tuna.tsinghua.edu.cn/simple

安装工具包

pip install pandas numpy scikit-learn  -i https://pypi.tuna.tsinghua.edu.cn/simple

4.启动docker 和 triton

我是分开执行，各位可以直接一把启动哈

1.根据命令启动docker

docker run -it  \
   --gpus device=6 \
  -p 18000:8000 -p 18001:8001  -p 18002:8002\   
  -v /opt/triton_inference_serve/model_repository:/models \
  --name triton-pytorch-dsn \
  nvcr.io/nvidia/tritonserver:23.12-pyt-python-py3 \
  bash

--gpus device=6

选择gpu号

-p 18000:8000 -p 18001:8001 -p 18002:8002\

暴露接口

-v /opt/triton_inference_serve/model_repository:/models

挂载模型目录

2.启动triton

我使用了nohup，避免每次启动

nohup tritonserver \
  --model-repository=/models \
  --backend-directory=/opt/tritonserver/backends \
  --backend-config=python,execution_mode=enabled \
  --log-verbose=2 \
  --log-file=/models/dsn/logs/triton.log \
  > /models/dsn/logs/nohup.out 2>&1 &

--model-repository=/models

指定模型执行地址

--backend-directory=/opt/tritonserver/backends

指定后端启动的python 库

--log-verbose=2 >1 表示开启日志

--log-file=/models/dsn/logs/triton.log \

/models/dsn/logs/nohup.out 2>&1 &

nohup启动日志