Linux 下 Ollama 完整实操指南：安装、部署大模型与开启远程访问

摘要：本文主要讲解在 Linux 环境下如何安装 Ollama，使用 Ollama 命令行管理大模型，同时配置远程访问，附带常用指令实操示例，适合本地私有化部署大模型快速上手。

前言

Ollama 是一款非常好用的本地大模型运行工具，可以简单快速地在本地部署、运行各类开源大模型（Qwen、Llama、Phi 等），不需要复杂的编译配置，一条命令即可完成模型下载和运行。本篇博客记录 Linux 环境下 Ollama 的实操流程与核心命令，方便快速查阅。

配套环境补充：文中同时提及 Linux 下 Anaconda 的安装，Anaconda 可以用来管理 Python 环境，方便后续开发对接 Ollama API。

一、Linux 安装部署 Ollama

1. 一键安装命令

Ollama 官方提供一键安装脚本，直接在终端执行：

less 复制代码

curl -fsSL [https://ollama.com/install.sh](https://ollama.com/install.sh) | sh

执行完成后，ollama 服务会自动后台启动。

2. 验证安装是否成功

css 复制代码

ollama --version

输出版本号即代表安装成功。

二、Ollama 核心客户端命令大全

Ollama 提供丰富的命令行工具，实现模型下载、运行、查看、复制、删除等全生命周期管理，下面整理高频实操命令。

1. run：运行大模型

如果本地不存在该模型，会自动先下载模型，之后进入交互式对话；本地已存在则直接启动对话。

语法示例：

arduino 复制代码

ollama run qwen2.5:7b

执行后即可直接和大模型在终端进行对话，输入 /bye 退出对话会话。

2. show：查看模型详细信息

查看模型参数、模板、系统提示词等元信息。

sql 复制代码

ollama show qwen2.5:7b

3. pull：仅下载模型（不进入对话）

只拉取下载模型文件，适合提前预下载模型，后续再运行。

复制代码

ollama pull qwen2.5:7b

4. list：列出本地已经下载的所有模型

查看本机磁盘上全部的 ollama 模型，显示模型名称、大小等信息。

复制代码

ollama list

5. ps：查询当前正在运行的模型

查看后台正在运行的模型实例，包含占用资源信息。

复制代码

ollama ps

6. cp：复制模型

对现有模型做副本，常用于基于原有模型修改 Modelfile，制作自定义模型。

bash 复制代码

ollama cp qwen2.5:7b qwen2.5_cp

7. rm：删除本地模型

删除磁盘上不需要的模型文件，释放存储空间。

bash 复制代码

ollama rm qwen2.5:7b

三、开启 Ollama 远程访问

默认情况下 Ollama 只允许本机访问，如果需要局域网/其他机器调用 Ollama API，需要修改环境变量开放监听地址。

1. 修改 systemd 服务配置

编辑 ollama 服务环境配置：

复制代码

systemctl edit ollama.service

写入下面内容，允许监听全部网卡：

ini 复制代码

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

2. 重载配置并重启服务

复制代码

systemctl daemon-reload
systemctl restart ollama

3. 防火墙放行端口

Ollama 默认端口 11434，防火墙需要放行该端口：

css 复制代码

# firewalld 示例
firewall-cmd --add-port=11434/tcp --permanent
firewall-cmd --reload

4. 验证远程调用

在其他机器访问接口测试，把 IP 替换为部署机器的 IP：

arduino 复制代码

curl http://你的服务器IP:11434/api/tags

能够返回模型列表 JSON，说明远程访问配置成功。

四、Linux 环境安装 Anaconda（可选）

场景：如果需要写 Python 程序调用 Ollama API、做二次开发，可以安装 Anaconda 管理 Python 虚拟环境。

前往 Anaconda 官网复制 Linux 版本下载链接，wget 下载脚本；
bash 执行下载的 sh 脚本，按照提示完成安装；
生效环境变量：source ~/.bashrc；
验证：conda -V。

五、简单开发调用示例（Python）

安装 ollama python 库

复制代码

pip install ollama

简单调用示例：

ini 复制代码

import ollama

res = ollama.chat(
    model="qwen2.5:7b",
    messages=[{"role":"user","content":"简单介绍一下Ollama"}]
)
print(res['message']['content'])

总结

Ollama 通过简单脚本即可在 Linux 完成安装，开箱即用运行开源大模型；
记住常用命令：run/pull/list/show/ps/cp/rm，可以完成绝大多数模型管理操作；
设置 OLLAMA_HOST=0.0.0.0:11434 开启远程访问，其他设备就可以调用本地部署的大模型；
配合 Anaconda + Python SDK，可快速做上层业务二次开发。

小提示：模型大小越大，对服务器内存、显存要求越高，按需选择适合自己硬件的模型版本。