技术栈

hami

styshoo
13 天前
hami·ai-infra·hami-core
HAMI-core 技术解析HAMi-core 是一款基于软件层面的 vCUDA 解决方案,核心目标是实现 GPU 资源的精细化隔离与限制,适配容器化(K8s + Pod)场景下的 GPU 资源调度需求。其核心实现逻辑的是:重写 NVIDIA 原生 CUDA 驱动(libvgpu.so),通过 Pod 挂载的方式替换原生驱动,再通过修改后的驱动拦截 CUDA 与 NVML 核心 API 接口,从而实现对 GPU 资源(内存、核心算力)的精准管控,解决容器场景下 GPU 资源共享冲突、分配不均的痛点。
密瓜智能
4 个月前
云原生·性能优化·开源·gpu算力·hami·密瓜智能
HAMi Meetup-贝壳找房 回顾:vGPU 推理集群的实践经验在大规模 AI 推理场景中,“算力不够”往往并非由硬件规模不足导致。贝壳找房(以下简称贝壳)在千卡级 GPU 集群规模下,整体 GPU 利用率约为 13%,主要问题来自小模型与多模型混跑场景下的显存碎片化以及整卡独占使用方式。
狂奔solar
1 年前
prometheus·hami
HAMi + prometheus-k8s + grafana实现vgpu虚拟化监控最近长沙跑了半个多月,跟甲方客户对了下项目指标,许久没更新回来后继续研究如何实现 grafana实现HAMi vgpu虚拟化监控,毕竟合同里写了需要体现gpu资源限制和算力共享以及体现算力卡资源共享监控
我是有底线的