Ollama 完全指南：本地大语言模型的“开箱即用”方案

从安装到部署，彻底搞懂 Ollama 的核心机制与实战应用

一、Ollama 是什么？

一句话定义： Ollama 是一个本地大语言模型（LLM）部署与管理平台，让你可以在自己的电脑上轻松运行各种开源大模型，无需云服务、无需 API 密钥。

1.1 核心定位

text

复制代码

传统方式：
    注册云服务 → 获取 API Key → 调用 API → 按 token 付费
                                    ↑
                              数据离开本地，有隐私风险

Ollama 方式：
    下载模型 → 本地运行 → 调用本地 API → 免费、隐私、离线
                    ↑
              模型完全在本地，数据不出机

1.2 为什么需要 Ollama？

场景	传统方式	Ollama
隐私敏感数据	数据上传云端 ❌	数据在本地 ✅
离线环境	无法使用 ❌	完全可用 ✅
API 费用	按 token 付费 ❌	完全免费 ✅
模型切换	切换服务商 ❌	一键切换 ✅
开发调试	依赖网络 ❌	本地快速迭代 ✅

二、Ollama 的核心架构

2.1 技术栈

text

复制代码

┌─────────────────────────────────────────────────────────────────┐
│                      Ollama 架构                               │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  用户层                                                         │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │  CLI 命令行  │  REST API  │  SDK (Python/JS)          │   │
│  └─────────────────────────────────────────────────────────┘   │
│                           │                                    │
│                           ▼                                    │
│  核心层                                                         │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │  模型管理器（下载、缓存、版本控制）                     │   │
│  │  推理引擎（基于 llama.cpp / GGML）                     │   │
│  │  量化优化（Q4_0, Q5_K_M, Q8_0）                       │   │
│  │  GPU 加速（CUDA / Metal / OpenCL）                    │   │
│  └─────────────────────────────────────────────────────────┘   │
│                           │                                    │
│                           ▼                                    │
│  模型层                                                         │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │  Llama 3.1 │ DeepSeek │ Qwen │ Mistral │ Gemma │ Phi │   │
│  └─────────────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────────────┘

2.2 核心组件

组件	功能
模型仓库	托管数百个开源模型（HuggingFace 集成）
推理引擎	基于 llama.cpp 的高效推理实现
量化系统	支持多种量化级别，平衡性能与精度
GPU 加速	支持 CUDA、Metal、OpenCL
REST API	提供标准的 HTTP 接口
Modelfile	自定义模型的配置语言

三、安装与配置

3.1 平台支持

平台	支持情况
macOS	✅ 原生支持（Apple Silicon / Intel）
Linux	✅ 原生支持
Windows	✅ 原生支持
Docker	✅ 官方镜像

3.2 安装命令

bash

复制代码

# macOS
brew install ollama

# Linux（一键安装）
curl -fsSL https://ollama.com/install.sh | sh

# Windows
# 从官网下载安装包：https://ollama.com/download

# Docker
docker pull ollama/ollama
docker run -d -p 11434:11434 --name ollama ollama/ollama

3.3 启动服务

bash

复制代码

# 启动 Ollama 服务
ollama serve

# 后台运行（Linux/macOS）
ollama serve &

# 验证服务状态
ollama list

四、模型管理

4.1 模型列表

模型名称	参数量	大小（量化后）	特点
`llama3.1:8b`	8B	4.7GB	Meta 最新，性能均衡
`llama3.1:70b`	70B	40GB	顶尖性能，需大显存
`qwen2.5:7b`	7B	4.4GB	阿里，中文优秀
`deepseek-coder-v2`	16B	9GB	编程专用
`mistral:7b`	7B	4.1GB	轻量高效
`gemma2:9b`	9B	5.5GB	Google，质量高
`phi3:3.8b`	3.8B	2.3GB	微软，极轻量
`qwen2.5:0.5b`	0.5B	350MB	超轻量，嵌入式

4.2 模型操作

bash

复制代码

# 下载模型
ollama pull llama3.1:8b

# 查看已安装模型
ollama list

# 查看模型信息
ollama show llama3.1:8b

# 删除模型
ollama rm llama3.1:8b

# 更新模型
ollama pull llama3.1:8b  # 重新拉取最新版本

4.3 模型量化级别

量化	精度	文件大小	适用场景
Q4_0	4-bit	最小	CPU 推理，低显存
Q4_K_M	4-bit + K	中等	平衡性能与精度
Q5_K_M	5-bit + K	较大	高质量推理
Q8_0	8-bit	最大	最高精度

bash

复制代码

# 指定量化版本
ollama pull llama3.1:8b-q4_0
ollama pull llama3.1:8b-q5_K_M

五、基本使用

5.1 交互式对话

bash

复制代码

# 启动交互式对话
ollama run llama3.1:8b

# 示例对话
>>> 什么是量子计算？
>>> 用 Python 写一个快排算法
>>> /bye  # 退出

5.2 单次推理

bash

复制代码

# 单次请求
ollama run llama3.1:8b "解释什么是闭包"

# 带系统提示词
ollama run llama3.1:8b --system "你是一位 Python 专家" "解释装饰器"

5.3 自定义模型（Modelfile）

python

复制代码

# Modelfile 示例
FROM llama3.1:8b

# 设置系统提示词
SYSTEM "你是一位专业的 Python 编程助手，擅长解释复杂概念。"

# 设置温度参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9

# 设置对话模板
TEMPLATE """{{ .System }}

用户: {{ .Prompt }}
助手: """

bash

复制代码

# 构建自定义模型
ollama create my-python-assistant -f Modelfile

# 运行自定义模型
ollama run my-python-assistant

六、Python SDK 集成

6.1 安装与连接

python

复制代码

# 安装
pip install ollama

# 基础使用
import ollama

response = ollama.chat(
    model='llama3.1:8b',
    messages=[
        {'role': 'user', 'content': '解释什么是闭包'}
    ]
)

print(response['message']['content'])

6.2 流式输出

python

复制代码

# 流式输出（实时返回）
stream = ollama.chat(
    model='llama3.1:8b',
    messages=[{'role': 'user', 'content': '写一个快速排序'}],
    stream=True
)

for chunk in stream:
    print(chunk['message']['content'], end='', flush=True)

6.3 多轮对话

python

复制代码

# 对话历史
messages = [
    {'role': 'system', 'content': '你是一位 Python 专家'},
    {'role': 'user', 'content': '什么是生成器？'}
]

response = ollama.chat(model='llama3.1:8b', messages=messages)
messages.append(response['message'])

# 继续对话
messages.append({'role': 'user', 'content': '举个例子'})
response = ollama.chat(model='llama3.1:8b', messages=messages)