显存管理 - 显存管理技术,学习,经验文章

Lucy-Fintech社区

4 小时前

Gemma-3-12b-it显存精细化管理实战：动态释放+缓存清理自动化脚本如果你正在本地运行像Gemma-3-12b-it这样的大模型，可能已经遇到了一个头疼的问题：显存不够用。刚开始对话时一切正常，但随着对话轮次增加，或者处理了几张图片后，程序开始报错，提示显存不足，甚至直接崩溃。