Scaling LLMs with NVIDIA Triton and NVIDIA TensorRT-LLM Using Kubernetes | NVIDIA Technical Blog
一共涉及4个k8s组件：
-
Deployment：跑起来N个pod；指定NVIDIA官方的triton&trt-llm的docker image，指定好model放在哪个volume里；
-
Service: 指向Deployment，指定port；
-
Prometheus：跑起来1个pod；从Service的triton metrics端口（8002）那里拿到metrics指标（queue time, compute time)，计算得到新指标（二者的比率）；
-
HPA(Horizontal Pod Autoscaler，水平扩展）：根据Prometheus的指标数值，和预先配置好的阈值，来自动新增pod或减少pod；
还可用Grafana工具来看triton指标、trt-llm指标：
从上图可看到，TRT-LLM In-Flight Batcher，一直在0~4之间变动，中间没有变到0这种断崖，证明真的是完成一个request就加一个新的request进来。