1. 什么是 Ollama？
Ollama 是一个开源工具，允许开发者在本地计算机上轻松运行、管理和部署大型语言模型（LLM）。它通过将模型权重、配置和数据打包到一个统一的 Modelfile 中，简化了本地 LLM 的获取和运行过程。用户只需一条简单的命令行指令，即可启动一个功能完整的模型服务。
2. 核心特性与优势
- 开箱即用：提供预构建的流行模型（如 Llama 3、Mistral、Gemma），无需手动配置复杂的依赖环境。
- 跨平台支持：支持 macOS、Linux 和 Windows（通过 WSL2）。
- 轻量高效：针对本地运行优化，资源占用相对较低，部分模型甚至可在消费级硬件上运行。
- 统一的 API 接口：提供与 OpenAI API 兼容的端点，便于现有应用快速集成。
- 模型库与管理：内置模型库，支持拉取、删除、查看本地模型，并可通过 Modelfile 自定义和创建模型变体。
3. 快速开始
3.1 安装 Ollama
访问 Ollama 官网 下载对应操作系统的安装包，或使用命令行安装：
bash
# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh
Windows (WSL2)
在 WSL2 的 Linux 发行版中运行上述命令3.2 运行你的第一个模型
安装完成后，在终端中运行以下命令来启动一个模型（例如 Llama 3 8B）：
bash
ollama run llama3:8b首次运行会自动下载模型文件。下载完成后，会进入交互式对话界面，你可以直接输入问题与模型对话。
4. 基本使用与管理
4.1 常用命令
bash
# 列出本地已下载的模型
ollama list
拉取（下载）一个新模型
ollama pull mistral:7b
删除一个本地模型
ollama rm mistral:7b
查看模型信息
ollama show llama3:8b
启动模型服务（作为后台进程）
ollama serve4.2 通过 API 调用
Ollama 默认在 http://localhost:11434 提供 API 服务。你可以使用 curl 或任何 HTTP 客户端进行调用：
bash
curl http://localhost:11434/api/generate -d '{
"model": "llama3:8b",
"prompt": "为什么天空是蓝色的？",
"stream": false
}'5. 高级功能：使用 Modelfile 自定义模型
Modelfile 允许你基于现有模型创建自定义版本，例如调整系统提示词、设置参数或添加适配器。
- 创建一个名为
Modelfile的文件：
dockerfile
FROM llama3:8b
设置系统提示词
SYSTEM """你是一个乐于助人且简洁的AI助手。"""
设置参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9- 使用该文件创建自定义模型：
bash
ollama create my-custom-llama -f ./Modelfile- 运行自定义模型：
bash
ollama run my-custom-llama6. 应用场景与集成
- 本地开发与测试：在没有网络或需要数据隐私的场景下进行 LLM 应用开发。
- 集成到现有应用：通过兼容 OpenAI 的 API，轻松将本地模型接入 LangChain、LlamaIndex 等框架。
- 教育与研究：方便学生和研究人员在个人电脑上探索和实验不同的开源模型。
- 构建离线 AI 助手：创建完全运行在本地的对话助手或文档分析工具。
7. 总结
Ollama 极大地降低了在本地运行大型语言模型的门槛，为开发者、研究者和爱好者提供了一个简单、统一且功能强大的工具。无论是快速体验最新的开源模型，还是为特定需求创建自定义版本，Ollama 都是一个值得尝试的解决方案。
随着开源模型的不断进步和硬件性能的提升，本地化部署 LLM 正变得越来越可行，Ollama 在其中扮演着重要的推动者角色。