技术栈
gpu池化
thesky123456
10 天前
大模型
·
mig
·
超分
·
mps
·
gpu池化
·
弹性扩缩容
·
弹性推理
27届大模型面试准备（九十四）：大模型弹性推理与GPU资源池化工程——GPU池化/虚拟化复用/弹性扩缩/显存碎片整理
本文是 A 系列第 94 篇。前面 A71 讲了多租户 GPU 虚拟化与推理隔离，A66 讲了请求级的推理调度与弹性扩缩容，A92 讲了单卡显存与算力极致优化。本文把视角从"单卡/单实例"拉到"一池 GPU"：如何把一堆异构、散落在不同机器的 GPU，抽象成一个统一资源池，按需切分、弹性伸缩、并持续做碎片整理，让昂贵的卡不再空转。
文慧的科技江湖
10 个月前
人工智能
·
开源
·
gpu池化
·
推理平台
·
训练平台
·
gpu管理平台
·
ai人工智能操作系统
开源 | 企业级开源人工智能训练推理平台 - GPU池化平台 - GPU算力平台 - GPU调度平台 - AI人工智能操作系统
🔥 Github 主仓库（优先更新）https://github.com/roinli/SSD-GPU-POOL | Gitee 镜像仓库
我是有底线的