大模型技术 Ollama 概述

如果说 LangChain 是构建 AI 应用的"大脑框架"，那么 Ollama 就是让这个大脑在你的本地电脑上跑起来的"发动机"。

---

一、 什么是 Ollama？

Ollama 是一个开源的本地大模型运行框架，旨在让用户能够像使用 Docker 一样，通过简单的命令行，在自己的个人电脑（macOS, Windows, Linux）上本地部署、运行和管理大语言模型（LLM）。

核心定位 ：本地化、轻量化、开箱即用。

---

二、 为什么 Ollama 这么火？（核心优势）

在 Ollama 出现之前，本地运行大模型（如 Llama 2/3）通常需要复杂的环境配置（Python 环境、CUDA 驱动、C++ 编译等）。Ollama 解决了这些痛点：

1. 极致简单 ：安装包一键安装，运行模型只需一条命令 ollama run llama3.1。
2. Docker 化的体验 ：它借鉴了 Docker 的逻辑，你可以 pull 模型镜像，通过 Modelfile 自定义模型。
3. 资源利用率高 ：底层基于 llama.cpp，针对不同架构（尤其是 Apple Silicon M 芯片和 NVIDIA GPU）进行了深度优化，运行速度极快。
4. 隐私安全：模型完全在本地运行，数据不上传云端，适合处理敏感数据。
5. 内置 API：它启动后会自动在后台运行一个 API 服务（默认端口 11434），方便像 LangChain 这样的框架直接调用。

---

三、 支持的模型

Ollama 有一个官方模型库（Ollama Library），涵盖了目前市面上几乎所有的主流开源模型：

• Llama 3.1 / 3.2 (Meta)
• Gemma 2 (Google)
• Mistral / Mixtral (Mistral AI)
• Phi-3 (Microsoft)
• Qwen2.5 / DeepSeek (阿里/深度求索)
• LLaVA (多模态模型，支持图片识别)

---

四、 快速上手指南

1. 安装

前往 ollama.com 下载对应系统的安装包即可。

2. 运行模型

打开终端，输入以下命令（以 Meta 的 Llama 3 8B 为例）：

ollama run llama3

第一次运行会自动下载模型文件（约 4.7GB）。下载完成后，你直接就可以在终端里和它聊天了。

3. 常用命令

• ollama list：查看本地已下载的模型。
• ollama pull [model]：只下载模型不运行。
• ollama rm [model]：删除本地模型。
• ollama serve：手动启动本地服务器。

---

五、 进阶：Modelfile (自定义模型)

类似于 Dockerfile，你可以创建一个 Modelfile 来定义模型的性格、系统提示词（System Prompt）和参数。

例如，创建一个名为 mario.Modelfile 的文件：

FROM llama3
# 设置系统提示词
SYSTEM "你现在是超级马里奥，说话要带有马里奥的口吻，经常说 Mamma Mia!"
# 设置随机度
PARAMETER temperature 1

然后运行：

ollama create mario -f mario.Modelfile
ollama run mario

---

六、 与 LangChain 的联动

这是开发者最关心的部分。由于 Ollama 启动后会自动开启本地 API，LangChain 可以非常容易地调用它。

代码示例：

首先安装集成库：

pip install langchain-ollama

在 Python 中调用：

from langchain_ollama import ChatOllama
from langchain_core.messages import HumanMessage

# 1. 初始化 Ollama 模型
# 指定你本地已经 pull 过的模型名称
llm = ChatOllama(
    model="llama3",
    temperature=0,
)

# 2. 发送消息
messages = [
    ("system", "你是一位幽默的助手。"),
    ("human", "为什么程序员喜欢冷笑话？"),
]

response = llm.invoke(messages)

print(response.content)

---

七、 总结

• 如果你是普通用户：Ollama 是在本地体验最强 AI 模型最简单的方法，无需科学上网，无需支付订阅费。
• 如果你是开发者：Ollama 是你开发 AI 应用的最佳"测试环境"。你可以在本地调试 LangChain 逻辑，确认无误后再将模型切换为云端的 OpenAI 或 Anthropic，大大节省开发成本。

一句话总结：Ollama 把复杂的本地大模型部署变成了像点外卖一样简单。