技术栈
弹性推理
thesky123456
3 小时前
大模型
·
mig
·
超分
·
mps
·
gpu池化
·
弹性扩缩容
·
弹性推理
27届大模型面试准备（九十四）：大模型弹性推理与GPU资源池化工程——GPU池化/虚拟化复用/弹性扩缩/显存碎片整理
本文是 A 系列第 94 篇。前面 A71 讲了多租户 GPU 虚拟化与推理隔离，A66 讲了请求级的推理调度与弹性扩缩容，A92 讲了单卡显存与算力极致优化。本文把视角从"单卡/单实例"拉到"一池 GPU"：如何把一堆异构、散落在不同机器的 GPU，抽象成一个统一资源池，按需切分、弹性伸缩、并持续做碎片整理，让昂贵的卡不再空转。
我是有底线的