Ollama 装好却拉不动模型?八成是这两种病,一种缺网一种缺显存

装软件这件事我基本闭眼能装,脑子里有模板。

但 AI 这套工具,坑是新的。

卡在这一步的人,开口通常是这么一句:

"柯柯,Ollama 我装好了,但模型拉不动。"

这句话里其实藏了两种完全不同的病,修法也完全不一样。先对号入座,别急着折腾。


第一步:分清你是哪一种"拉不动"

A 型:根本下不下来

复制代码
 ollama pull qwen2.5:7b

屏幕上停在 pulling manifest 不动,或者进度条走得像蜗牛,最后甩一句 Error: max retries exceeded。

这是网络问题,模型文件还没到你电脑上。

B 型:下下来了,但跑不动

ollama list 里能看到模型,可一 run 就崩,或者回一句话要等半分钟、风扇狂转。

这是显存问题,模型在,但你的电脑扛不动。

分清楚了吗?下面分开治。


A 型:卡在 pulling manifest

Ollama 的模型默认从 registry.ollama.ai 拉,这个地址在国内直连经常不稳。不是你网络坏了,是这条路本来就不顺。

修法一:换国内模型站(最直接)

ModelScope(modelscope.cn,阿里的模型站)上有大量 GGUF 格式的模型,国内下载快得多。

拿到 .gguf 文件之后,用 Ollama 导入,全程不经过官方 registry:

  1. 新建一个没有后缀 的文本文件,名字就叫 Modelfile
  2. 里面写一行:
bash 复制代码
 FROM ./qwen2.5-7b-instruct-q4_k_m.gguf
  1. 在同一个目录下打开命令行,执行:
lua 复制代码
 ollama create qwen-local -f Modelfile
  1. 然后就能跑了:
arduino 复制代码
 ollama run qwen-local

qwen-local 这个名字你可以随便起。这样模型就进了你本地的库,以后不用再下载。

修法二:先拿小模型把链路试通

别一上来就拉 7B、14B。先来个 1.5B 的,不到 1 GB,一会儿就下完。

复制代码
 ollama pull qwen2.5:1.5b

能拉通,说明网络和 Ollama 本身没问题,再去下大的。卡住的原因常常是文件太大加上网速太慢,不是环境坏了。


B 型:模型在,但跑不动

先别猜,两条命令就能看出来。

看它到底跑在哪

复制代码
 ollama ps

盯 PROCESSOR 那一列:

显示 含义 状态
100% GPU 全在显卡上 正常,这就是你要的
大部分 GPU + 一点 CPU 显存塞不下,溢出到内存 速度会掉一半以上
100% CPU 完全没吃到显卡 慢,但如果能忍,也能用

看它到底多快

arduino 复制代码
 ollama run qwen2.5:7b --verbose

回答完会打出一段统计,找 eval rate 那一行,单位是 token/s。

参考值(看机器,不是绝对) :40 以上很流畅,15 左右能正常聊,10 以下基本没法用,个位数就是幻灯片。

你的显存到底够不够

4bit 量化下,大致是这么个账(估算值,以 ollama ps 实测为准):

模型规模 大概需要显存 常见型号
1B--3B 1--2.5 GB qwen2.5:1.5b、llama3.2:3b
7B--8B 5--6 GB qwen2.5:7b、llama3.1:8b
14B 9--10 GB qwen2.5:14b
32B 19--21 GB qwen2.5:32b
70B 40 GB 以上 家用基本别想

注意,这只是模型本身的重量。 对话越长,上下文还要再吃 1--2 GB。所以 8G 显存跑 7B 是紧的,16G 跑 14B 才舒服。看到"8G 显卡能跑 7B"的说法,别全信,跑是能跑,但稍微聊长一点就溢出去了。

三种救法

  1. 换小的(最有效) 。14B 卡就换 7B,7B 卡就换 3B。3B 的模型回答质量已经能应付大部分日常问答了,别迷信大。
  2. 别开长上下文。默认 2048 够用,硬拉到 32K,显存直接爆。
  3. 接受 CPU 跑。7B 在普通 8 核 CPU 上大概 5--8 token/s,慢,但适合不赶时间的活,比如批量处理文档、夜里挂着跑。

顺手三个更常见的坑

这三个不属于"拉不动",但同样常见:

1. 'ollama' 不是内部或外部命令 装完没重开终端。关掉所有命令行窗口重开,或者直接重启电脑。

2. connection refused 服务没起来。看右下角托盘有没有 Ollama 图标,没有就手动启动一次。

3. 端口被占用

复制代码
 netstat -ano | findstr 11434

11434 是 Ollama 的默认端口,被别的程序占了就起不来。


最后:怎么算真的通了

arduino 复制代码
 ollama run qwen2.5:1.5b

出现 >>> 提示符,输入"你好",它回你一段通顺的话 ------ 这就成了。

别急着下 70B。 先用小模型把整条链路走通一遍,知道每一步长什么样,再去试大的。这跟你装 Python 先跑个 print("hello") 是一个道理。

第一步就想跑最大的模型,卡住之后很容易得出「我这台不行」的结论。

其实只是顺序错了。


Ollama 请从 ollama.com 下载,模型优先用官方源或 modelscope.cn,别用来路不明的整合包。

相关推荐
硅徒1 小时前
一条对话连换 Pi、Qwen Code、Google Harness² 三个底座——SoduWork 多底座接力、成本记录与源码排查实测
ai编程
用户1996143559961 小时前
亲手写一个最小Agent:50行代码看懂智能体循环
ai编程
ellis19702 小时前
Claude Code[二] 上下文相关的机制
unity·ai编程
真上帝的左手2 小时前
26. AI-Agent-技术架构:Harness、Runtime、Orchestrator、Framework
人工智能·架构·agent·ai编程·智能体
逐梦苍穹3 小时前
不训练不微调:直接改权重矩阵,给小模型补上新能力
ai编程·codex·claudecode
ndz3 小时前
ModelFold 对话模型订阅:三档怎么选,Claude Code 和 Codex 怎么接
ai编程
ZzT4 小时前
GPT-6.2 API 降价 20%,为什么老代码直接切过去反而更费钱?
openai·ai编程
翼帆5 小时前
我用 AI 复刻了 CodeTank,重温代码坦克
前端·javascript·开源·ai编程·游戏开发·codetank
掘黄金的打工人5 小时前
LangChain 少样本示例 和 动态示例选择
langchain·aigc·ai编程