minicpm-v 4.7 - minicpm-v 4.7技术,学习,经验文章

木圭的AI时代指南

2 小时前

MiniCPM-V 4.7 35B-A3B 本地部署实录：RTX 3070 8GB 显存跑多模态，36 token/s摘要：19.7GiB 的模型文件跑在 8GB 显存的 RTX 3070 上，本文给出完整启动参数、三组性能实测（纯文字 / 看图 / 1B 对照）、显卡负载对比，以及 llama.cpp 版本、mlock 加载、视频输入三个坑。核心结论：35B 能跑，但瓶颈不在显卡在内存带宽。