显存优化

论文复现现场

MiniCPM-o 4.5 需要多少显存？RTX 3090 24GB 的 BF16、AWQ、GGUF 部署边界与验收方法先给结论：RTX 3090 的 24GB 显存不能按官方口径稳定承载 MiniCPM-o 4.5 完整 PyTorch 全双工 Web Demo；它更适合 AWQ、GGUF，或关闭部分模态后的单轮验证。若目标是原精度、完整音视频全双工服务，应按官方“至少 28GB 显存”要求选卡。

Flash Attention反向梯度优化显存前面我有文章介绍子Flash Attention 针对长序列的正向优化，而其反向算子（Backward Pass）的优化由于涉及到复杂的梯度重计算和显存权衡，往往比正向过程更具挑战性。

九章云极AladdinEdu

大模型训练显存优化全方案：ZeRO、Offload与重计算技术对比当大语言模型的参数量从亿级迈向万亿级，我们面临的不再仅仅是算力瓶颈，更是显存墙的严峻挑战。训练一个1750亿参数的模型，仅存储FP32格式的参数、梯度和优化器状态就需要超过2TB的显存，这远远超过了当前最强单卡GPU的容量。如何在有限的硬件条件下突破显存限制，让普通研究机构和开发者也能参与大模型训练，成为了AI领域亟待解决的核心问题。

我是有底线的