技术栈
llm-d
谢白羽
20 天前
分布式
·
vllm
·
sglang
·
llm-d
多集群/分布式 LLM 推理方案全景：2026 年选型指南
随着 LLM 应用规模不断扩大，单机推理早已无法满足生产需求。本文梳理了当前主流的多集群/分布式 LLM 推理方案，帮助你根据自身场景做出合理选型。
云道轩
7 个月前
人工智能
·
kubernetes
·
llm-d
初次尝试在kubernetes 1.31 上安装 人工智能模型运行平台 llm-d
备注：按照官方文档，排除官方文档不清楚的步骤，安装到最后一步了，只缺 HF_TOKEN了,因为我的kubernetes集群无法访问HF.
我是有底线的