上一篇《Mano-P 低配部署实践》发出去之后,大家问得最集中的一件事:一台机器上,GUI Agent 需要不止一个模型(动作决策、屏幕感知、结果校验),内存和显存到底怎么分。这篇直接给配置思路,延续上次的低配口径。
内存账只看两个数
本地部署的账本里只有两个变量:常驻占用,以及换入换出的代价。Mano-P 的 4B 量化模型(w4a16)在 M4 Pro 上峰值内存 4.3GB,prefill 476 tokens/s,decode 76 tokens/s,README 里都是公开数字。多模型方案里每个模型都按这两列记账,整台机器的安排就能写在一页纸上。
统一内存 ≤16GB:单模型,别并行
这个档位不建议凑热闹。16GB 里系统和窗口服务占掉大半,Mano-P 4B 常驻 4.3GB 加截图缓存之后余量很薄,同时跑第二个模型,先撑不住的是需要长上下文的那一步。感知类的活可以挪出模型:macOS 自带的 Vision 框架能直接做 OCR,屏幕元素解析不占模型内存,效果比预想的能用。省下来的余量全留给动作模型,是低配机器最稳的形态。
24GB---32GB:动作模型常驻,第二个模型按需加载
GUI 任务的步骤结构不对称:动作决策每一步都要触发,感知和校验只在切屏、任务收尾这些节点出场。让 4B 动作模型常驻,第二个模型在需要它的节点前加载、用完立即释放。峰值内存大约等于 4.3GB 加第二个模型的体积再乘 1.2,1.2 这个系数是加载时的瞬时开销,留出它比事后排查 OOM 便宜。官方给 M4 芯片 32GB 内存的推荐配置,对应的正是这种一个常驻一个按需的布局。
内存不够两个模型之和:换出策略
设高水位线,超线就把最久没用的模型换出到磁盘。代价是换回之后头一步的延迟,下一步即恢复正常,量级在秒级,可以藏在切屏的间隔里。三个注意点:换出时机选在屏幕状态稳定的节点,别在执行中途动手;校验模型的量化精度保住,长指令跟随的劣化比感知能力来得更早更隐蔽;热点任务的上下文固定住,别让换出顺手清掉,否则 Agent 会忘记自己刚在做什么。
一页配置表
| 内存 | 布局 | 峰值估算 |
|---|---|---|
| 16GB | 4B 常驻 + 系统自带 OCR | 约 5.5GB |
| 24GB | 4B 常驻 + 小模型按需 | 约 7GB |
| 32GB | 4B 常驻 + 4B---8B 按需 | 4.3GB + 第二模型×1.2 |
| 8GB 独显 | w4a16 分层加载 | 视 offload 比例 |
表当算账的参照,具体到每台机器会有出入。低配跑本地 Agent 的完整部署记录和实测脚本在 https://github.com/Mininglamp-AI/Mano-P ,几 GB 的账怎么算都在仓库里,欢迎点星,按这张表配出问题欢迎开 issue 对账。