📝 文章声明 :本笔记基于 B 站黑马程序员《零基础玩转 Dify》课程学习整理,融合课程素材与个人理解,由大模型辅助生成,仅作个人学习分享,不作为权威教程。原课程讲解透彻、实操性强,想要完整系统学习,欢迎观看原版课程:《零基础玩转 Dify》
Ollama 它是什么、能帮你干什么、怎么在自己电脑上装好跑起来。
一、为什么要装这个东西
现在的大模型(ChatGPT、通义千问、DeepSeek 背后那个"大脑")个头都不小,想在自家电脑上跑一个,以前是件挺折腾的事:要装 Python 环境、配 CUDA、下几十 GB 的权重文件、写启动脚本......一圈下来,多数人还没开始用就放弃了。
Ollama 就是为了把这件事变简单而生的。 它是个开源软件,作用一句话概括:让大模型像装普通软件一样简单,装完基本就能用。
打个比方
把 Ollama 想成"大模型界的应用商店 + 播放器":
- 应用商店:官方的模型库里有各种开源模型(通义千问、Llama、DeepSeek 等),输入名字就能下载;
- 播放器:模型下完,直接开聊天窗口就能对话,不用管模型是怎么加载、显存怎么分配、服务怎么启动。
它到底帮你干了哪些活
- 下载和管理模型------一条命令拉下来,也能一条命令删掉;
- 把模型跑起来 ------它会在你电脑后台开一个服务(默认端口 11434),随时待命;
- 提供对话界面------图形界面点开就能聊,不用写代码;
- 对外提供接口 ------这点最容易被忽略,但特别重要:别的软件(比如 Dify)可以通过这个 11434 端口调用你的本地模型。下一篇、下下篇讲的接入,全靠它。
用本地模型的好处
最实在的一条:数据不出门。公司的合同、客户的资料、自己的病历,喂给本地模型处理,全程不经过别人的服务器。
顺带还有:不花钱(电费除外)、断网也能用、模型想换就换。
二、怎么用:Windows 从零到聊起来
第 1 步:下载安装Ollama
- 打开官网下载页:https://ollama.com/download (支持 Windows、macOS、Linux)
- 点下载按钮,拿到
OllamaSetup.exe - 双击运行,点「Install」
有个细节提前知道:Ollama 默认装在 C 盘 (C:\Users\你的用户名\AppData\Local\Programs\Ollama),安装时不让选路径。
装完后,电脑右下角托盘区会出现 Ollama 的小图标,说明它已经在后台跑着了。
第 2 步:把模型存放位置挪走(建议)
模型文件都挺占地方:小的 1~5 GB,大的几十 GB。默认全往 C 盘塞,很容易把系统盘塞满。建议装完第一件事就改路径:
点托盘图标 → Settings → 找到模型存放目录,改到空间大的盘,比如 D:\ollama-models。
改完之后新下载的模型就放新地方了。注意:已经下好的模型不会自动搬过去,要么重新下,要么手动剪切过去。
第 3 步:下载一个模型
打开 Ollama 的聊天窗口,在 find model 输入框里输入模型名,回车就开始下载。第一次下载的时间取决于网速和模型大小。
新手就下这个 :qwen2.5:1.5b
它只有 15 亿参数,模型文件 1 GB 出头,没有独立显卡也能跑得挺流畅,适合先把流程走通、感受一下本地模型是什么样。
选更大的模型前,心里得有杆秤:
| 模型规模 | 大概显存需求 | 体验 |
|---|---|---|
| 1.5B~3B | 2~4 GB | 轻快,适合练手、简单问答 |
| 7B~8B | 8 GB 左右 | 日常可用,写文案、做总结够用 |
| 13B~14B | 16 GB 左右 | 明显更聪明,速度看显卡 |
| 30B 以上 | 24 GB 起 | 得有好显卡,普通笔记本别想 |
有 N 卡(独立显卡)的会自动用 GPU 跑;没有的就用 CPU,慢一些但也能出结果。
第 4 步:开始聊
模型下完,直接在聊天框里打字就行,跟用网页版 AI 没区别。
Mac 用户流程差不多:官网下 .dmg → 拖进「应用程序」文件夹 → 打开即用,后面的下载和使用完全一致。
三、几个必须会的命令
图形界面够用了,但这几条命令行指令迟早用得上(Win+R 输入 cmd 打开命令行):
bash
# 看本机装了哪些模型(配置 Dify 时要用这里的名字)
ollama list
# 下载模型
ollama pull qwen2.5:1.5b
# 直接在命令行里跟模型对话(/bye 退出)
ollama run qwen2.5:1.5b
# 删掉不用的模型,腾空间
ollama rm qwen2.5:1.5b
# 手动启动服务(一般不用,装完是开机自启的)
ollama serve
其中 ollama list 这条最重要 ------它列出来的 NAME 就是模型的正式名字,后面在 Dify 里填模型名称时,必须跟这里一字不差。
四、新手常卡住的几个地方
| 现象 | 怎么回事 | 怎么办 |
|---|---|---|
| 下载卡住不动 / 特别慢 | 模型库在国外,网络不稳 | 换个时间段重试,会断点续传,不用从头下 |
| C 盘突然少了几十 G | 模型默认存 C 盘 | 按第 2 步改路径,把已有模型也挪过去 |
| 托盘图标没了,软件打不开 | 后台服务没起来 | 开始菜单重新打开 Ollama;或命令行 ollama serve |
| 模型答得又慢又笨 | 模型太小 / 在用 CPU 跑 | 换更大的模型得先看显存;小模型本来就是这个水平 |
| 提示端口被占用 | 11434 被别的程序占了 | 关掉冲突程序,或改 Ollama 的监听端口 |
五、这一篇要记住的三句话
- Ollama 是本地大模型的管理工具------负责下载模型、运行模型、对外提供接口。
- 它装完就在后台开了一个 11434 端口的服务,这就是后面所有"接入"的基础。
- 模型名字以
ollama list为准,配置别的软件时要一字不差地抄过去。