Ollama 本地大模型部署与使用指南

1. 什么是 Ollama

Ollama 是一款开源的本地大语言模型运行工具，支持在个人电脑上便捷地下载、运行和管理各类开源大模型，如 Llama、Qwen、Mistral 等。它通过简洁的命令行和 REST API，让开发者无需深厚机器学习背景即可在本地体验大模型能力。

2. 安装与基础使用

Ollama 支持 macOS、Windows 和 Linux 平台。安装完成后，可通过命令行直接拉取并运行模型。

# 拉取并运行 Qwen2.5 模型
ollama run qwen2.5

首次运行会自动下载模型权重，之后即可在终端中与模型进行对话交互。

3. 常用命令

• ollama list：查看本地已下载的模型列表。
• ollama pull <模型名>：下载指定模型。
• ollama run <模型名>：运行模型并进入交互对话。
• ollama rm <模型名>：删除本地模型。

4. 通过 API 调用

Ollama 默认在本地 11434 端口提供 REST API，方便集成到应用中。

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5",
  "prompt": "你好，请介绍一下你自己"
}'

5. 总结

Ollama 降低了本地运行大模型的门槛，适合个人开发、离线场景和隐私敏感应用。结合丰富的开源模型生态，可以快速搭建本地 AI 能力。