技术栈
gpu池化
万博智云OneProCloud
18 天前
kubernetes
·
算力调度
·
ai基础设施
·
gpu池化
·
agione
·
powerone
GPU 资源池化最佳实践：规划、调度、监控与运营的五步方法
摘要：本文从资源盘点与需求预测开始，依次讨论异构 GPU 纳管、容器化调度、配额与队列、三层监控、性能优化、弹性扩展和算力运营，形成一套五阶段资源池化方法。
thesky123456
1 个月前
大模型
·
mig
·
超分
·
mps
·
gpu池化
·
弹性扩缩容
·
弹性推理
27届大模型面试准备（九十四）：大模型弹性推理与GPU资源池化工程——GPU池化/虚拟化复用/弹性扩缩/显存碎片整理
本文是 A 系列第 94 篇。前面 A71 讲了多租户 GPU 虚拟化与推理隔离，A66 讲了请求级的推理调度与弹性扩缩容，A92 讲了单卡显存与算力极致优化。本文把视角从"单卡/单实例"拉到"一池 GPU"：如何把一堆异构、散落在不同机器的 GPU，抽象成一个统一资源池，按需切分、弹性伸缩、并持续做碎片整理，让昂贵的卡不再空转。
文慧的科技江湖
1 年前
人工智能
·
开源
·
gpu池化
·
推理平台
·
训练平台
·
gpu管理平台
·
ai人工智能操作系统
开源 | 企业级开源人工智能训练推理平台 - GPU池化平台 - GPU算力平台 - GPU调度平台 - AI人工智能操作系统
🔥 Github 主仓库（优先更新）https://github.com/roinli/SSD-GPU-POOL | Gitee 镜像仓库
我是有底线的