mig

thesky12345617 天前
大模型·mig·超分·mps·gpu池化·弹性扩缩容·弹性推理
27届大模型面试准备(九十四):大模型弹性推理与GPU资源池化工程——GPU池化/虚拟化复用/弹性扩缩/显存碎片整理本文是 A 系列第 94 篇。前面 A71 讲了多租户 GPU 虚拟化与推理隔离,A66 讲了请求级的推理调度与弹性扩缩容,A92 讲了单卡显存与算力极致优化。本文把视角从"单卡/单实例"拉到"一池 GPU":如何把一堆异构、散落在不同机器的 GPU,抽象成一个统一资源池,按需切分、弹性伸缩、并持续做碎片整理,让昂贵的卡不再空转。
thesky1234561 个月前
大模型·mig·多租户·mps·gpu虚拟化·显存隔离·噪声邻居
27届大模型面试准备(七十一):多租户 GPU 虚拟化与推理隔离工程——MIG、MPS 与噪声邻居治理引言上篇(六十九)讲 Prefill-Decode 分离,把单卡算力按阶段拆开调度;(七十)讲网关层如何把请求路由到不同实例。本篇把视角再抬一层:当一张 A100/H100 要同时服务多个业务方(多租户)时,怎么在显存、算力、延迟三个维度做隔离与复用,既把卡利用率榨干,又不让某个租户的突发流量把别人的 P99 拖垮。这是华为云、大模型推理平台岗的高频题,也是面试里最容易区分"只会调 API"和"真做过平台"的分水岭。
爱奔跑的虎子2 年前
fpga开发·fpga·vivado·xilinx·mig·ddr3
详解DDR3原理以及使用Xilinx MIG IP核(app 接口)实现DDR3读写测试(1)详解SDRAM基本原理以及FPGA实现读写控制在前文《详解SDRAM基本原理以及FPGA实现读写控制》中我们学会了SDRAM的基本原理以及读写操作时序,本文讲解的DDR3全称为“Double Data Rate 3”(双倍数据速率第三代),它是一种用于计算机和其他设备的随机存取存储器(RAM)技术。
9527华安3 年前
fpga开发·vivado·mig·sodimm·内存条
FPGA使用MIG调用SODIMM内存条接口教程,提供vivado工程源码和技术支持FPGA应用中,数据缓存是一大重点,不管是图像处理还是AD采集亦或是PCIE等等,都需要缓存数据以作后续处理,一般的FPGA可以挂载SDRAM、DDR3、DDR4等内存颗粒作为缓存介质,但有时限于IO口、FPGA型号等原因,还需要设计SODIMM适配额外的内存条才能满足数据缓存的需求,这种需求一般用于高端项目;
我是有底线的