技术栈
hami
密瓜智能
19 天前
云原生
·
性能优化
·
开源
·
gpu算力
·
hami
·
密瓜智能
HAMi Meetup-贝壳找房 回顾：vGPU 推理集群的实践经验
在大规模 AI 推理场景中，“算力不够”往往并非由硬件规模不足导致。贝壳找房（以下简称贝壳）在千卡级 GPU 集群规模下，整体 GPU 利用率约为 13%，主要问题来自小模型与多模型混跑场景下的显存碎片化以及整卡独占使用方式。
狂奔solar
1 年前
prometheus
·
hami
HAMi + prometheus-k8s + grafana实现vgpu虚拟化监控
最近长沙跑了半个多月，跟甲方客户对了下项目指标，许久没更新回来后继续研究如何实现 grafana实现HAMi vgpu虚拟化监控，毕竟合同里写了需要体现gpu资源限制和算力共享以及体现算力卡资源共享监控
我是有底线的