Ollama 在 Linux 上的完整安装与使用指南：从零部署到熟练运行大语言模型

Ollama 在 Linux 上的完整安装与使用指南：从零部署到熟练运行大语言模型

[🎯 核心摘要](#🎯 核心摘要)
[🛠️ 安装准备](#🛠️ 安装准备)
[📥 安装 Ollama](#📥 安装 Ollama)
[🚀 基本使用：快速开始](#🚀 基本使用：快速开始)
- [1. 拉取并运行你的第一个模型](#1. 拉取并运行你的第一个模型)
- [2. 常用模型管理命令](#2. 常用模型管理命令)
[🔧 进阶应用](#🔧 进阶应用)
- [1. 使用 RESTful API](#1. 使用 RESTful API)
- [2. Python 集成](#2. Python 集成)
- [3. 使用 Docker 运行](#3. 使用 Docker 运行)
- [4. 部署 Web 图形界面（Open WebUI）](#4. 部署 Web 图形界面（Open WebUI）)
[⚠️ 常见问题与优化](#⚠️ 常见问题与优化)

🎯 核心摘要

本文详细介绍了在 Linux 系统上安装和使用 Ollama 大语言模型平台的完整指南。主要内容包括：安装前的系统要求检查、两种安装方式（自动脚本安装和手动定制安装）、基本使用方法（模型下载运行和管理）、以及进阶应用（REST API调用、Python集成、Docker部署和Web图形界面）。文章还提供了常见问题解决方案和性能优化建议，帮助用户从零开始搭建本地大模型平台，适用于不同技术水平的开发者。

下面是整个过程的快速导览：
开始部署Ollama
选择安装方式
自动安装（推荐新手）
手动安装（追求定制）
一键脚本安装
下载二进制文件

配置系统服务
验证安装与基本使用
模型管理

（拉取/运行/列表）
进阶应用
REST API 调用
Python 项目集成
使用 Docker 部署
Web 图形界面
熟练使用

🛠️ 安装准备

在开始安装前，请确保您的 Linux 设备满足以下条件，这是顺利运行的基础。

组件	最低要求	推荐配置
内存 (RAM)	8 GB（可运行 1B-7B 参数模型）	16 GB 或以上（可流畅运行 13B 参数模型）
显卡 (GPU)	集成显卡（使用 CPU 模式运行）	NVIDIA GPU（显存 ≥ 8GB）或 AMD GPU（ROCm）以获得 GPU 加速
存储空间	SSD硬盘，至少 50 GB 可用空间	准备充足的 SSD 空间以存放大型模型文件
操作系统	主流 Linux 发行版（如 Ubuntu 20.04+）	最新稳定版操作系统

必要检查：在终端中执行以下命令，确认基础环境。

bash 复制代码

# 检查系统架构
uname -m
# 检查内存和存储
free -h
df -h
# 如果使用NVIDIA GPU，检查驱动
nvidia-smi
# 如果使用AMD GPU，检查ROCm
rocminfo

📥 安装 Ollama

你有两种主要安装方式，强烈建议新手使用自动安装。

方式一：自动安装（最快最省心）

打开终端，执行官方的一键安装脚本。

bash 复制代码

curl -fsSL https://ollama.com/install.sh | sh

安装脚本会自动完成下载、安装和服务配置。安装完成后，重启终端会话，然后验证安装：

bash 复制代码

ollama --version

方式二：手动安装（适合需要定制化）

如果自动安装遇到问题，或希望更精细地控制安装路径，可以手动安装。

下载二进制文件 ：

bash 复制代码

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollama
sudo chmod +x /usr/local/bin/ollama

创建专用用户和用户组 （可选，但推荐用于安全隔离）：
bash 复制代码
```
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
```

配置系统服务 （以便开机自启和方便管理）：
创建服务文件 /etc/systemd/system/ollama.service，内容如下：

ini 复制代码

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
[Install]
WantedBy=default.target

启动并启用服务 ：

bash 复制代码

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

安装后配置（非常重要！）

默认情况下，Ollama 服务只允许本机访问。如果你需要通过局域网或互联网访问，需要修改配置，使其监听所有网络接口。

编辑服务文件（如 /etc/systemd/system/ollama.service），在 [Service] 部分添加或修改环境变量：

ini 复制代码

Environment="OLLAMA_HOST=0.0.0.0:11434"

然后重新加载并重启服务：

bash 复制代码

sudo systemctl daemon-reload
sudo systemctl restart ollama

🚀 基本使用：快速开始

安装配置好后，就可以体验本地大模型了。

1. 拉取并运行你的第一个模型

使用 ollama run 命令。例如，要运行 Meta 发布的 Llama 3 模型，Ollama 会自动从模型库下载所需的文件。

bash 复制代码

ollama run llama3

下载完成后，会直接进入交互式对话界面。

2. 常用模型管理命令

掌握以下几个命令，就能高效管理你的本地模型：

命令	作用	示例
`ollama pull`	仅下载模型，不立即运行	`ollama pull qwen2:7b`
`ollama list`	列出本地已下载的所有模型	`ollama list`
`ollama rm`	删除本地不再需要的模型	`ollama rm llama2:13b`
`ollama ps`	查看当前正在运行的模型	`ollama ps`

🔧 进阶应用

Ollama 不仅是命令行工具，更是一个功能完整的本地 AI 服务器。

1. 使用 RESTful API

Ollama 服务启动后，默认在 http://localhost:11434 提供了丰富的 REST API，方便你集成到自己的应用中。

生成文本 ：

bash 复制代码

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "请用中文介绍一下你自己",
  "stream": false
}'

对话接口 （更推荐）：

bash 复制代码

curl -X POST http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "你好，请说一段话。" }
  ]
}'

2. Python 集成

Ollama 提供了官方的 Python 库，可以非常方便地在你的 Python 项目中使用。

安装库 ：
bash 复制代码
```
pip install ollama
```

在代码中调用 ：

python 复制代码

import ollama

response = ollama.chat(model='llama3', messages=[
  {
    'role': 'user',
    'content': '为什么天空是蓝色的？',
  },
])
print(response['message']['content'])

3. 使用 Docker 运行

如果你熟悉 Docker，也可以通过容器方式运行 Ollama，这有助于环境隔离。

bash 复制代码

# 拉取镜像
docker pull ollama/ollama
# 运行容器（基础版）
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# 运行容器（启用GPU加速）
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

4. 部署 Web 图形界面（Open WebUI）

对于习惯图形化操作的用户，可以部署 Open WebUI，获得类似 ChatGPT 的体验。

bash 复制代码

docker run -d --network=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

部署后，在浏览器中访问 http://你的服务器IP:8080 即可使用。

⚠️ 常见问题与优化

问题	原因与解决方案
模型下载慢或失败	由于网络原因，可以尝试多次重新执行 `ollama pull` 命令。
端口冲突或无法远程访问	确认已正确设置 `OLLAMA_HOST=0.0.0.0` 并重启服务。检查防火墙是否放行了 11434 端口。
显存/内存不足	尝试拉取参数更小的模型（如 `:7b` 版本），或在运行命令时添加 `--num_gpu 1` 等参数限制 GPU 使用层数。
修改模型默认存储路径	通过设置环境变量 `OLLAMA_MODELS` 可以更改模型下载目录，例如在服务文件中添加 `Environment="OLLAMA_MODELS=/path/to/your/models"` 。

希望这份详细的指南能帮助您顺利在 Linux 上搭建属于自己的本地大模型平台！

如果您在具体步骤中遇到问题，欢迎随时提出。