zero-offload - zero-offload技术,学习,经验文章

醍醐实验室

2 小时前

分布式显存优化器：ZeRO-Offload 异构内存（CPU/NVMe）卸载调度在有限硬件资源（例如单台 8 卡服务器）上对 70B 乃至更大规模的模型进行微调与全量训练时，工程师面临最直接的物理死锁是：GPU 物理显存彻底耗尽。