Ollama 是什么、干什么用、怎么用

📝 文章声明 :本笔记基于 B 站黑马程序员《零基础玩转 Dify》课程学习整理,融合课程素材与个人理解,由大模型辅助生成,仅作个人学习分享,不作为权威教程。原课程讲解透彻、实操性强,想要完整系统学习,欢迎观看原版课程:《零基础玩转 Dify》
Ollama 它是什么、能帮你干什么、怎么在自己电脑上装好跑起来。

一、为什么要装这个东西

现在的大模型(ChatGPT、通义千问、DeepSeek 背后那个"大脑")个头都不小,想在自家电脑上跑一个,以前是件挺折腾的事:要装 Python 环境、配 CUDA、下几十 GB 的权重文件、写启动脚本......一圈下来,多数人还没开始用就放弃了。

Ollama 就是为了把这件事变简单而生的。 它是个开源软件,作用一句话概括:让大模型像装普通软件一样简单,装完基本就能用。

打个比方

把 Ollama 想成"大模型界的应用商店 + 播放器":

  • 应用商店:官方的模型库里有各种开源模型(通义千问、Llama、DeepSeek 等),输入名字就能下载;
  • 播放器:模型下完,直接开聊天窗口就能对话,不用管模型是怎么加载、显存怎么分配、服务怎么启动。

它到底帮你干了哪些活

  1. 下载和管理模型------一条命令拉下来,也能一条命令删掉;
  2. 把模型跑起来 ------它会在你电脑后台开一个服务(默认端口 11434),随时待命;
  3. 提供对话界面------图形界面点开就能聊,不用写代码;
  4. 对外提供接口 ------这点最容易被忽略,但特别重要:别的软件(比如 Dify)可以通过这个 11434 端口调用你的本地模型。下一篇、下下篇讲的接入,全靠它。

用本地模型的好处

最实在的一条:数据不出门。公司的合同、客户的资料、自己的病历,喂给本地模型处理,全程不经过别人的服务器。

顺带还有:不花钱(电费除外)、断网也能用、模型想换就换。

二、怎么用:Windows 从零到聊起来

第 1 步:下载安装Ollama

  1. 打开官网下载页:https://ollama.com/download (支持 Windows、macOS、Linux)
  2. 点下载按钮,拿到 OllamaSetup.exe
  3. 双击运行,点「Install」

有个细节提前知道:Ollama 默认装在 C 盘 (C:\Users\你的用户名\AppData\Local\Programs\Ollama),安装时不让选路径。

装完后,电脑右下角托盘区会出现 Ollama 的小图标,说明它已经在后台跑着了。

第 2 步:把模型存放位置挪走(建议)

模型文件都挺占地方:小的 1~5 GB,大的几十 GB。默认全往 C 盘塞,很容易把系统盘塞满。建议装完第一件事就改路径:

点托盘图标 → Settings → 找到模型存放目录,改到空间大的盘,比如 D:\ollama-models。

改完之后新下载的模型就放新地方了。注意:已经下好的模型不会自动搬过去,要么重新下,要么手动剪切过去。

第 3 步:下载一个模型

打开 Ollama 的聊天窗口,在 find model 输入框里输入模型名,回车就开始下载。第一次下载的时间取决于网速和模型大小。

新手就下这个 :qwen2.5:1.5b

它只有 15 亿参数,模型文件 1 GB 出头,没有独立显卡也能跑得挺流畅,适合先把流程走通、感受一下本地模型是什么样。

选更大的模型前,心里得有杆秤:

模型规模 大概显存需求 体验
1.5B~3B 2~4 GB 轻快,适合练手、简单问答
7B~8B 8 GB 左右 日常可用,写文案、做总结够用
13B~14B 16 GB 左右 明显更聪明,速度看显卡
30B 以上 24 GB 起 得有好显卡,普通笔记本别想

有 N 卡(独立显卡)的会自动用 GPU 跑;没有的就用 CPU,慢一些但也能出结果。

第 4 步:开始聊

模型下完,直接在聊天框里打字就行,跟用网页版 AI 没区别。

Mac 用户流程差不多:官网下 .dmg → 拖进「应用程序」文件夹 → 打开即用,后面的下载和使用完全一致。

三、几个必须会的命令

图形界面够用了,但这几条命令行指令迟早用得上(Win+R 输入 cmd 打开命令行):

bash 复制代码
# 看本机装了哪些模型(配置 Dify 时要用这里的名字)
ollama list

# 下载模型
ollama pull qwen2.5:1.5b

# 直接在命令行里跟模型对话(/bye 退出)
ollama run qwen2.5:1.5b

# 删掉不用的模型,腾空间
ollama rm qwen2.5:1.5b

# 手动启动服务(一般不用,装完是开机自启的)
ollama serve

其中 ollama list 这条最重要 ------它列出来的 NAME 就是模型的正式名字,后面在 Dify 里填模型名称时,必须跟这里一字不差。

四、新手常卡住的几个地方

现象 怎么回事 怎么办
下载卡住不动 / 特别慢 模型库在国外,网络不稳 换个时间段重试,会断点续传,不用从头下
C 盘突然少了几十 G 模型默认存 C 盘 按第 2 步改路径,把已有模型也挪过去
托盘图标没了,软件打不开 后台服务没起来 开始菜单重新打开 Ollama;或命令行 ollama serve
模型答得又慢又笨 模型太小 / 在用 CPU 跑 换更大的模型得先看显存;小模型本来就是这个水平
提示端口被占用 11434 被别的程序占了 关掉冲突程序,或改 Ollama 的监听端口

五、这一篇要记住的三句话

  1. Ollama 是本地大模型的管理工具------负责下载模型、运行模型、对外提供接口。
  2. 它装完就在后台开了一个 11434 端口的服务,这就是后面所有"接入"的基础。
  3. 模型名字以 ollama list 为准,配置别的软件时要一字不差地抄过去。
相关推荐
゛凌乱的记忆づ1 小时前
50元从零到成品:一套AI辅助的嵌入式实战入门教程——IIC篇
人工智能·stm32·单片机·嵌入式硬件
Yolanda_20221 小时前
如何开发人工智能系统:从专家系统到机器学习
人工智能·机器学习
小天源1 小时前
品牌 AI 智能监测与自动化采集系统
大数据·人工智能·自动化
Navicat中国1 小时前
Navicat 18 支持 Azure OpenAI 接入,合规 AI 赋能 SQL 开发
数据库·人工智能·microsoft·ai·azure·navicat·数据
陈嘿萌1 小时前
CVPR 2026|TherA:让可见光照片“懂冷热”,用文字和参考图控制红外生成
图像处理·人工智能·深度学习·计算机视觉·学术研究与理论基础
shxjnpl1 小时前
MOSS-Transcribe-Diarize 0.9B 私有化部署实战:一个模型完成会议转写、说话人识别与时间戳
人工智能·语音识别·实时音视频
武汉唯众智创1 小时前
心理健康中心 / 咨询室 / 宣泄室怎么建?从空间规划到 AI 系统的一体化方案
人工智能·ai心理健康·ai心理健康测评·心理健康中心建设·心理健康咨询室解决方案
SL_staff1 小时前
APS落地失败的5个隐形坑:离散制造排产为何总在Excel里打转?
java·人工智能·开源
Yolanda_20222 小时前
神经网络基础原理-使用梯度下降训练二次函数模型简单示例
人工智能·深度学习·神经网络