minicpm-o - minicpm-o技术,学习,经验文章

论文复现现场

2 小时前

MiniCPM-o 4.5 需要多少显存？RTX 3090 24GB 的 BF16、AWQ、GGUF 部署边界与验收方法先给结论：RTX 3090 的 24GB 显存不能按官方口径稳定承载 MiniCPM-o 4.5 完整 PyTorch 全双工 Web Demo；它更适合 AWQ、GGUF，或关闭部分模态后的单轮验证。若目标是原精度、完整音视频全双工服务，应按官方“至少 28GB 显存”要求选卡。