RTX4060 8G 本地大模型测试

8G显存能跑的大模型比较少,测试结果如图:

|--------------|------------|------------|------------|--------|--------|--------|
| 测试环境:I5-13400F、DDR5 5600 16Gx2、RTX4060 8G 272GB/s、LmStudio、首次对话输入32k |||||||
| 大模型(Q4KM) | qwen3.5-2b | qwen3.5-4b | qwen3.5-9b | gemma4-12b |||
| 模型大小 | 1.2G | 2.5G | 5.2G | 6.5G |||
| 上下文(KV Q4_0) | 128k | 128k | 128k | 64k | 64k | 40k |
| GPU层数 | 24/24 | 32/32 | 32/32 | 42/48 | 44/48 | 46/48 |
| 显存占用 | 2.8G | 5.2G | 7.4G | 7.3G | 7.6G | 7.7G |
| 首次填充速度 | 4520t/s | 2115t/s | 1425t/s | 455t/s | 500t/s | 760t/s |
| 输出速度 | 62t/s | 38t/s | 28t/s | 8t/s | 13t/s | 15t/s |
| | | | | | | |
| 题目 | 写一篇不少于1000汉字关于夏天的散文,直接输出给我 ||||||
| 完成时间 | 20s | 42s | 63s | 320s | 238s | 188s |


原创文章,转载请注明出处。

如有疑问或建议,请在回复中说明,谢谢!

相关推荐
小七-七牛开发者2 天前
PACE:代码通过率从 42% 到 97%, 让长程 Agent 在有限 KV Cache 下用好历史 Token
大模型·claude·token·工作流·长程agent
小七-七牛开发者2 天前
周 1 上线 | DSH 喜提原神进场动画,Anthropic 启动 IPO 路演;黄仁勋辞任;微软全球大宕机超 24 小时
ai·大模型·agent·token·工作流·claudecode·ai coding
M--Y3 天前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph
香吧香3 天前
一篇文章搞懂 Agent Harness:从概念、原理到我们该不该上
大模型
M--Y3 天前
LangGraph 工作流模式
开发语言·javascript·python·langchain·大模型·llm·langgraph
dozenyaoyida3 天前
AI与大模型新闻日报 | 2026-11-08
人工智能·搜索引擎·ai·大模型·新闻
小小-猿4 天前
从 gpt-6-luna 到第一个 Nexent 智能体:配置、调试与发布
gpt·大模型·智能体·ai智能体·nexent
aicat_cn4 天前
OpenAI 解散机器人团队,改让 GPT-6 直接控制机器人
ai·大模型
Flynn Liang4 天前
LLM 应用安全:Prompt 注入、越权与输入输出护栏
java·人工智能·大模型·langchain4j·llm 安全·prompt 注入·guardrail
JJJennie7775 天前
MAI Gateway 免费试用与付费方案详解:先验效果,再谈 ROI
人工智能·大模型·gateway·ai网关