技术栈
vllm-omni
谢白羽
2 小时前
运维
·
人工智能
·
缓存
·
kubernetes
·
vllm
·
sglang
·
vllm-omni
从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记
在传统的微服务架构里，CPU 和内存是弹性且可以任意细分的。你给一个 Web Pod 分配 cpu: 500m、memory: 1Gi，K8s 的 Cgroups 限制得明明白白。
我是有底线的