mps

thesky1234569 天前
大模型·mig·超分·mps·gpu池化·弹性扩缩容·弹性推理
27届大模型面试准备(九十四):大模型弹性推理与GPU资源池化工程——GPU池化/虚拟化复用/弹性扩缩/显存碎片整理本文是 A 系列第 94 篇。前面 A71 讲了多租户 GPU 虚拟化与推理隔离,A66 讲了请求级的推理调度与弹性扩缩容,A92 讲了单卡显存与算力极致优化。本文把视角从"单卡/单实例"拉到"一池 GPU":如何把一堆异构、散落在不同机器的 GPU,抽象成一个统一资源池,按需切分、弹性伸缩、并持续做碎片整理,让昂贵的卡不再空转。
thesky12345618 天前
大模型·mig·多租户·mps·gpu虚拟化·显存隔离·噪声邻居
27届大模型面试准备(七十一):多租户 GPU 虚拟化与推理隔离工程——MIG、MPS 与噪声邻居治理引言上篇(六十九)讲 Prefill-Decode 分离,把单卡算力按阶段拆开调度;(七十)讲网关层如何把请求路由到不同实例。本篇把视角再抬一层:当一张 A100/H100 要同时服务多个业务方(多租户)时,怎么在显存、算力、延迟三个维度做隔离与复用,既把卡利用率榨干,又不让某个租户的突发流量把别人的 P99 拖垮。这是华为云、大模型推理平台岗的高频题,也是面试里最容易区分"只会调 API"和"真做过平台"的分水岭。
上海曼博生物医药科技有限公司1 个月前
药物研发·mps·器官芯片·organ-on-chip·微生理系统·药代动力学·替代动物实验
DILI和PK研究为什么开始用器官芯片?肝脏MPS进入药物研发决策的关键路径摘要: 器官芯片能否真正进入药物研发,并不取决于其是否“更像人体”,而在于能否针对具体使用场景稳定产生可重复、可解释和可决策的数据。当前肝脏微生理系统MPS正在围绕药物性肝损伤DILI开展跨平台标准化评价,人体相关药代动力学PK也成为新的NAMs研究方向。英国政府推动减少部分动物PK与安全性实验,FDA CDER与3Rs Collaborative开展肝脏MPS跨平台研究,CN Bio则获得Innovate UK支持开发人体相关PK工作流。本文从DILI与PK两个药物研发实际问题出发,解析器官芯片如何从创
硬禾科技9 个月前
硬件工程师·电源·mps·电源仿真
15 分钟跑通一款电源仿真工作台:MPSmart 上手体验如果你更关心“值不值得用”,建议先看下面这段实操视频:我把安装、跑通示例工程、看启动/瞬态/应力的关键操作录了下来,3~5 分钟能快速建立直观感受。
伊织code2 年前
人工智能·pytorch·macos·metal·mps
Accelerated PyTorch training on Mac本文翻译整理自:Accelerated PyTorch training on Mac https://developer.apple.com/metal/pytorch/
伊织code2 年前
pytorch·macos·apple·metal·mps
MPS 后端本文来自: https://pytorch.org/docs/stable/notes/mps.html https://pytorch.ac.cn/docs/stable/notes/mps.html
我是有底线的