Ollama 本地部署大语言模型笔记

目的：使用 Ollama 在本机下载、运行和管理大语言模型，并通过本地 API

将模型接入自己的应用。

适用系统：Windows、macOS、Linux。

更新日期：2026-10-27

1. Ollama 是什么？

Ollama 是一个用于在本地运行大语言模型的工具，负责模型下载、运行和 API

服务管理。它可以让应用通过命令行或 HTTP API 调用模型。

优点

部署简单：安装后即可通过命令下载并运行模型。
本地运行：模型推理可以在自己的电脑上完成，适合学习、开发和隐私敏感的工作流。
模型管理方便：支持下载、查看、复制和删除模型。
提供 API ：默认提供本地 HTTP API，便于 Python、JavaScript
等程序调用。
硬件影响性能 ：运行速度与模型大小、量化方式、内存、显存和 GPU
支持有关。

注意：使用本地模型并不代表所有数据处理流程都一定离线。若使用云模型、第三方应用或联网工具，数据可能会离开本机。敏感数据应结合具体配置和应用的数据处理方式判断。

2. 安装 Ollama

请优先从 Ollama 官方网站

下载对应操作系统的版本，并参考官方文档。

Windows

打开官方下载页面，下载并安装 Windows 版本。
安装完成后打开 PowerShell 或 Windows Terminal。
检查安装是否成功：

powershell 复制代码

ollama --version

macOS

从官方下载页面下载 macOS 版本并安装。
打开终端，检查：

bash 复制代码

ollama --version

Linux

官方安装脚本示例：

bash 复制代码

curl -fsSL https://ollama.com/install.sh | sh

安装完成后检查：

bash 复制代码

ollama --version

Linux 安装方式、GPU

驱动和服务管理可能因发行版与硬件而异，请以官方文档为准。

3. 第一次运行模型

以 qwen3 作为命令示例。具体可用模型、标签和资源需求请查看 Ollama
模型库。

bash 复制代码

ollama run qwen3

通常，ollama run

在本地尚未下载对应模型时会先下载，再启动交互对话。模型名称和标签应以模型库页面显示的为准。

退出交互对话通常可以输入：

text 复制代码

/bye

也可以先下载模型，再运行：

bash 复制代码

ollama pull qwen3
ollama run qwen3

4. 常用命令速查

命令作用

ollama --version 查看 Ollama 版本

ollama help 查看命令帮助

ollama list 列出本地模型

ollama pull <模型名> 下载模型

ollama run <模型名> 运行模型并进入交互对话

ollama show <模型名> 查看模型信息

ollama ps 查看当前正在运行的模型

ollama stop <模型名> 停止指定模型

ollama rm <模型名> 删除本地模型

ollama cp <源模型> <目标模型> 复制模型

ollama serve 启动 Ollama 服务（如果服务尚未运行）

示例：

bash 复制代码

# 查看已下载模型
ollama list

# 查看某个模型的信息
ollama show qwen3

# 查看当前运行中的模型
ollama ps

# 停止模型
ollama stop qwen3

# 删除模型（会释放模型占用的磁盘空间）
ollama rm qwen3

提醒： 如果 Ollama 已经由桌面应用或系统服务在后台运行，执行

ollama serve

可能提示端口已被占用。这通常表示已有服务正在运行，不一定是故障。

5. 如何选择模型

选模型时，不要只看参数量，还要考虑用途、内存/显存、上下文长度、量化方式、语言能力、工具调用能力和许可证。

使用场景选择思路

日常问答、总结、翻译选择通用指令模型，优先考虑中文表现与速度

编程、代码解释选择针对代码任务优化的模型

文档问答、RAG 选择指令遵循较好、上下文长度满足需求的模型

图片理解确认模型明确支持视觉输入，且所用客户端/API

支持相应输入格式

低配置电脑从较小模型或更高压缩程度的量化版本开始测试

参数量与内存

模型参数量越大，通常越可能具备更强的能力，但一般也需要更多内存/显存，运行速度也可能更慢。实际需求还会受到量化、上下文长度、并发请求和运行时开销影响。

以下仅是粗略的选型方向，并非保证能运行的最低配置：

小模型（约 1B--4B）：适合轻量任务和资源有限的设备。
中小模型（约
7B--9B）：常见的本地试用范围，仍需考虑量化和上下文长度。
更大模型（约 14B
及以上）：通常需要更多内存/显存；应先查看模型页面的体积和硬件要求。

模型文件大小不等于运行时总内存需求。上下文越长、同时处理的请求越多，额外内存开销通常也越大。

量化是什么？

量化是以较低精度存储模型权重的技术，通常能降低模型文件体积和运行时内存需求，但可能带来一定质量损失。常见标签可能包含

Q4_K_M、Q5_K_M、Q8_0 等。

通常而言，较低位数的量化版本更省资源；较高精度的版本往往更占空间。不同模型的具体效果不同，建议在自己的任务上实际比较。

6. 模型存储与磁盘空间

模型可能占用数 GB 到数十 GB

的磁盘空间。下载多个模型前，先确认磁盘剩余容量。

查看模型

bash 复制代码

ollama list

删除不再需要的模型

bash 复制代码

ollama rm <模型名>

模型存储位置可能因操作系统、安装方式和环境变量而不同。若要更改模型存储位置，请查阅官方关于环境变量与平台配置的说明，不建议在不清楚服务运行账户的情况下直接移动模型目录。

7. 调用本地 HTTP API

Ollama 默认本地 API 地址通常为：

text 复制代码

http://localhost:11434

如需确认具体 API 行为、参数和响应结构，请查看官方 API
文档。

7.1 使用 curl 进行对话

以下是 Bash / macOS / Linux 示例：

bash 复制代码

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3",
    "messages": [
      {
        "role": "user",
        "content": "请用三句话介绍 Ollama。"
      }
    ],
    "stream": false
  }'

说明：

model：要调用的本地模型名称。
messages：对话消息列表。
role：常见值包括 system、user、assistant。
stream: false：请求一次性返回完整结果；若启用流式输出，客户端需要逐段读取响应。

7.2 使用 Python 调用

先安装 Python 客户端：

bash 复制代码

pip install ollama

示例：

python 复制代码

import ollama

response = ollama.chat(
    model="qwen3",
    messages=[
        {
            "role": "user",
            "content": "请用三句话介绍 Ollama。"
        }
    ],
)

print(response["message"]["content"])

运行前需确保 Ollama 服务已启动，并且对应模型已经可用。

8. 使用 Modelfile 创建自定义模型配置

Modelfile

可以基于现有模型定义一个自定义模型配置，例如设置系统提示词或运行参数。

在一个新目录中创建名为 Modelfile 的文件：

text 复制代码

FROM qwen3
SYSTEM 你是一个严谨、简洁的中文技术助手。
PARAMETER temperature 0.7

然后创建自定义模型：

bash 复制代码

ollama create my-assistant -f Modelfile

运行：

bash 复制代码

ollama run my-assistant

说明：

FROM：指定基础模型或模型文件。
SYSTEM：设置默认系统提示词。
PARAMETER：设置支持的模型运行参数，具体参数以官方文档为准。

如果基于本地 GGUF 文件创建模型，也可以在 FROM

中引用相应文件路径；请按官方 Modelfile 文档确认格式和路径要求。

9. 网络访问与安全

默认情况下，Ollama 的本地 API

常用于本机程序调用。若要允许局域网内其他设备访问，需要调整服务监听地址等配置。

安全建议：

不要在没有身份验证和访问控制的情况下，将 API 直接暴露到公网。
局域网开放访问前，确认防火墙规则、可信设备范围和网络环境。
不要把 API
当成天然具备身份验证的服务；按实际版本和部署方式确认安全能力。
生产环境应考虑反向代理、身份验证、访问限制、日志和资源配额。
对敏感业务数据，确认模型、客户端和周边工具的数据流向。

10. 常见问题排查

10.1 提示找不到 `ollama` 命令

可能原因：

安装未完成。
终端没有刷新环境变量。
命令行路径未配置正确。

处理方式：重新打开终端，确认安装状态；必要时重新安装，并检查系统 PATH。

10.2 下载模型很慢或失败

可能原因：

网络连接不稳定。
模型文件较大。
磁盘空间不足。
代理或网络策略影响下载。

处理方式：检查网络和磁盘空间，确认模型名称/标签正确，再尝试下载。不要随意从来源不明的网站下载模型文件。

10.3 模型运行很慢

可能原因：

模型规模超出设备适合的范围。
没有使用受支持的 GPU 加速路径。
内存或显存不足，发生内存交换或部分计算回退。
上下文长度过大，或同时运行了多个任务。

处理方式：

尝试更小的模型或更省资源的量化版本。
关闭占用大量内存/显存的程序。
查看 ollama ps 了解模型运行情况。
检查 GPU 驱动和 Ollama 官方硬件支持说明。
缩短上下文或降低并发。

10.4 API 无法连接

排查步骤：

确认 Ollama 已安装并运行。
检查本机 localhost:11434 是否可访问。
确认请求路径和 JSON 格式正确。
检查模型名称是否与 ollama list 中的名称一致。
如果服务部署在另一台机器上，检查监听地址、防火墙和网络路由。

10.5 端口被占用

Ollama 默认 API 端口通常是

11434。如果启动服务时出现端口占用提示，先检查是否已经有 Ollama

服务在运行，避免重复启动。

Ollama 本地部署大语言模型笔记