本地安装与使用 Ollama：运行大语言模型的完整指南

本地安装与使用 Ollama：运行大语言模型的完整指南

作者：nyzhhd

适用于 Windows / macOS / Linux 用户 · 面向开发者、科研人员与 AI 爱好者

---

在当前 AI 热潮下，你是否也想在自己的电脑上运行 LLaMA、Mistral、Qwen 等大模型 ，而不依赖 OpenAI 或云端 API？

是否希望离线使用、数据私有、成本可控地进行推理、微调或工程集成？

Ollama 正是你需要的工具！它是一个开源、轻量、易用的本地 LLM 运行框架，支持一键下载、管理、运行主流开源大模型。

本文将手把手带你完成 Ollama 的安装、模型目录自定义、Chatbox 图形界面配置，以及手动导入自定义 GGUF 模型 的全流程。

---

一、安装 Ollama

1. 下载并安装

• 访问官网：https://ollama.ai
• 根据你的操作系统下载安装包：
  • Windows：需 Windows 10/11（建议开启 WSL2）
  • macOS：支持 Intel 与 Apple Silicon（M1/M2/M3）
  • Linux：支持 Ubuntu、Debian、Arch 等主流发行版

💡 提示 ：Windows 用户若安装后无法启动，建议启用 WSL2 并在 Linux 子系统中运行 Ollama，性能与兼容性更佳。

2. （可选）自定义模型存储路径

默认情况下，Ollama 会将模型存放在用户目录下（如 C:\Users\<user>\.ollama\models），但该路径通常位于系统盘，容量有限。

自定义步骤（以 Windows 为例）：

1. 右键"此电脑" → "属性" → "高级系统设置" → "环境变量"
2. 在 系统变量 中点击"新建"
   • 变量名 ：OLLAMA_MODELS
   • 变量值 ：E:\AI\Models\Ollama（替换成你自己的大容量磁盘路径）
3. 保存并 重启 PowerShell / CMD / 终端

✅ 验证：打开终端，运行 echo %OLLAMA_MODELS%（Windows）或 echo $OLLAMA_MODELS（Linux/macOS），应输出你设置的路径。

---

二、使用 Chatbox 图形界面（推荐！）

命令行虽强大，但图形界面更友好。Chatbox 是一个开源的桌面聊天客户端，完美支持 Ollama 本地模型。

安装 Chatbox

• 官网：https://chatboxai.app
• 下载对应平台安装包（支持 Windows / macOS / Linux）
• 安装后打开，无需账号即可使用

配置 Ollama 后端

1. 点击左下角 "设置"（⚙️）

2. 在 "API Base URL" 中填入：

   http://localhost:11434

   Ollama 默认监听 127.0.0.1:11434，Chatbox 通过该地址与 Ollama 通信。

3. 选择模型时，输入你在 Ollama 中安装的模型名（如 qwen2.5:7b）

🎉 现在你可以在 Chatbox 中像使用 ChatGPT 一样，与本地大模型对话！

---

三、手动导入自定义 GGUF 模型（如 Qwen、Phi、Llama）

Ollama 官方支持许多模型（ollama run llama3），但你可能想导入 Hugging Face 上下载的 GGUF 格式模型 （如 qwen2.5-7b-instruct-q4_0.gguf）。

操作步骤

1️⃣ 准备模型文件

• 从 Hugging Face 下载 GGUF 模型（推荐使用 Q4_K_M、Q5_K_M 等量化版本，平衡速度与精度）
• 示例文件：E:\models\qwen2.5-7b-instruct-q4_0.gguf

2️⃣ 创建 Modelfile

在模型所在目录新建一个文本文件，命名为 Modelfile（无后缀），内容如下：

FROM E:\models\qwen2.5-7b-instruct-q4_0.gguf

# 可选：设置模型参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1
PARAMETER stop "User:"
PARAMETER stop "###"

# 可选：添加系统提示（适用于 Instruct 模型）
TEMPLATE """
{{ if .System }}{{ .System }}{{ end }}
{{ if .Messages }}
{{- range .Messages }}
{{- if eq .Role "user" }}User: {{ .Content }}
{{- else if eq .Role "assistant" }}Assistant: {{ .Content }}
{{- end }}
{{- end }}
{{ else }}
{{- if .Prompt }}{{ .Prompt }}{{ end }}
{{- end }}
Assistant:
"""

🔍 说明：

• FROM 指向本地 GGUF 文件的绝对路径
• TEMPLATE 定义了对话格式，适配 Qwen 的 Instruct 模板
• Windows 路径需用双反斜杠 \\ 或正斜杠 /，但 Ollama 通常兼容 E:\...

3️⃣ 导入模型

打开终端（PowerShell / CMD / Bash），执行：

ollama create qwen2.5-7b -f E:\models\Modelfile

⏳ 首次导入会校验文件并注册模型，耗时取决于模型大小（7B 约 1~3 分钟）。

4️⃣ 验证与运行

# 查看已安装模型
ollama list

# 运行模型（命令行交互）
ollama run qwen2.5-7b

✅ 成功后，你也可以在 Chatbox 中选择 qwen2.5-7b 进行图形化对话。

---

四、常见问题与注意事项

问题	解决方案
ollama: command not found	确保已重启终端，或手动将 Ollama 加入 PATH
模型加载慢 / 卡死	检查 RAM 和显存（7B 模型需 ≥16GB 内存）
Windows 路径报错	尝试使用 /e/models/... 或 E:/models/... 格式
模型响应不遵循指令	检查 TEMPLATE 是否匹配模型的训练格式
Ollama 服务未启动	手动运行 ollama serve（Linux/macOS）或检查 Windows 服务

---

五、推荐模型列表（GGUF 格式）

模型	特点	下载地址
Qwen2.5-7B-Instruct	中文强，支持工具调用	Hugging Face
Llama3-8B-Instruct	英文顶尖，通用能力强	Meta / Hugging Face
Phi-3-mini-4k-instruct	微软出品，小而强（3.8B）	Hugging Face
Mistral-7B-Instruct	开源标杆，推理优秀	Hugging Face

---

结语

通过 Ollama + Chatbox ，你可以在本地构建一个完全私有、低成本、高性能的大模型开发与使用环境。无论是用于科研实验、嵌入式 AI、机器人对话系统，还是个人知识库增强，都极具价值。

最后提醒 ：

本地运行大模型对硬件有一定要求（建议 16GB+ 内存，NVMe SSD），但随着量化技术（如 GGUF Q4）进步，消费级笔记本也能流畅运行 7B 级模型。

现在，就去下载 Ollama，把 Qwen 或 Llama3 装进你的电脑吧！🚀

---

附：常用命令速查

ollama run llama3          # 运行官方模型
ollama create mymodel -f ./Modelfile  # 导入自定义模型
ollama list                # 列出所有模型
ollama rm mymodel          # 删除模型
ollama pull qwen:7b        # 下载官方 Qwen