密瓜智能 - 密瓜智能技术,学习,经验文章

密瓜智能

4 小时前

HAMi Meetup-贝壳找房回顾：vGPU 推理集群的实践经验在大规模 AI 推理场景中，“算力不够”往往并非由硬件规模不足导致。贝壳找房（以下简称贝壳）在千卡级 GPU 集群规模下，整体 GPU 利用率约为 13%，主要问题来自小模型与多模型混跑场景下的显存碎片化以及整卡独占使用方式。