推理引擎

✦昨夜星辰✦2 个月前
人工智能·系统架构·triton·推理引擎·tensorrt-llm
Triton Inference Server 架构原理上篇文章进行了 TensorRT-LLM & Triton Server 部署 ，本篇简单讲讲 Triton Inference Server 的架构原理，便于大家更好的做配置和开发。