kserve

ん贤13 天前
云原生·kserve
KServe 部署教程（CPU版）大家都知道：但是到了“生产部署”阶段，必须先面对一个现实问题：我当前使用的是 kubeadm + VMware 搭建 Kubernetes 集群，虚拟机里只有 虚拟显卡，没有真实 NVIDIA GPU。
一个向上的运维者4 个月前
llm·gateway·istio·kserve
基于k8s的KServe 控制平面生产级部署最佳实践：基于 Gateway API 的标准化流量管理方案KServe控制平面负责管理推理服务的生命周期，与Kubernetes API协同工作，处理资源编排，并提供自动扩缩容能力。它作为KServe平台的核心，确保模型服务工作负载能够根据需求正确部署、监控和扩缩容。
我是有底线的