8G显存能跑的大模型比较少，测试结果如图：
|--------------|------------|------------|------------|--------|--------|--------|
| 测试环境：I5-13400F、DDR5 5600 16Gx2、RTX4060 8G 272GB/s、LmStudio、首次对话输入32k |||||||
| 大模型(Q4KM) | qwen3.5-2b | qwen3.5-4b | qwen3.5-9b | gemma4-12b |||
| 模型大小 | 1.2G | 2.5G | 5.2G | 6.5G |||
| 上下文(KV Q4_0) | 128k | 128k | 128k | 64k | 64k | 40k |
| GPU层数 | 24/24 | 32/32 | 32/32 | 42/48 | 44/48 | 46/48 |
| 显存占用 | 2.8G | 5.2G | 7.4G | 7.3G | 7.6G | 7.7G |
| 首次填充速度 | 4520t/s | 2115t/s | 1425t/s | 455t/s | 500t/s | 760t/s |
| 输出速度 | 62t/s | 38t/s | 28t/s | 8t/s | 13t/s | 15t/s |
| | | | | | | |
| 题目 | 写一篇不少于1000汉字关于夏天的散文，直接输出给我 ||||||
| 完成时间 | 20s | 42s | 63s | 320s | 238s | 188s |
原创文章，转载请注明出处。
如有疑问或建议，请在回复中说明，谢谢！