本地ollama大模型速度慢的优化

斯班奇的好朋友阿法法2026-04-23 12:58

我直接给你最致命、最有效的结论：

你现在这个速度（38秒 130 tokens）= 完全没用到GPU，全靠CPU硬跑！

4060 8GB 正常应该是 30~50 tokens/秒 ，你现在只有 3~4 tokens/秒，差了10倍！

一、为什么这么卡？

你用的是：

复制代码

qwen2.5:latest

这个是 FP16 原版模型 = 13GB+

你的 4060 只有 8GB 显存 → 装不下 → 全部丢给CPU → 巨卡

二、1 分钟立刻提速 10 倍（直接复制命令）

1. 换 4bit 量化模型（必须）

bash 复制代码

ollama pull qwen2.5:7b-q4_K_M

2. 强制 Ollama 用满 GPU

Windows PowerShell 执行：

powershell 复制代码

$env:OLLAMA_NUM_GPU=999
$env:OLLAMA_GPU_LAYERS=35
$env:OLLAMA_KEEP_ALIVE=-1

3. 重启服务

powershell 复制代码

pkill ollama
ollama serve

4. 测试速度

bash 复制代码

ollama run qwen2.5:7b-q4_K_M "你好"

正常结果：

响应：1秒内
速度：30~45 tokens/秒

三、你 API 调用必须改的模型名

不要用：

复制代码

qwen2.5:latest

要用：

复制代码

qwen2.5:7b-q4_K_M

四、我给你最终最优配置（4060 8GB 专用）

python 复制代码

from langchain_ollama import ChatOllama

llm = ChatOllama(
    model="qwen2.5:7b-q4_K_M",   # 必改
    num_ctx=2048,                 # 必小
    num_gpu=35,                   # 必开
    temperature=0.7
)

五、改完后预期速度

你现在：
38秒 = 130 tokens

改完后：
3~4秒 = 130 tokens
直接快 10 倍！