Linux第27篇：在Linux服务器部署本地大模型：Ollama+开源LLM实战

做个文艺程序员2026-07-23 13:09

一句话定义：本文系统讲解如何在Linux生产服务器上通过Ollama部署开源大语言模型，从环境准备、模型选型、GPU加速到API调用与Java应用集成，帮助你在本地搭建安全、可控的AI服务能力。

一、引言：AI时代，运维的下一个战场

经过前面22篇文章的铺垫，你的Java SaaS应用已经拥有了完整的交付链------从代码提交到自动部署、从监控告警到日志分析，整个体系运转良好。

但2026年的技术浪潮有一个不可忽视的趋势：大模型正在渗透到每一个技术环节。从AI辅助编程到智能客服，从自动化文档生成到智能运维------如果你的SaaS应用不具备AI能力，很快就会被竞争对手甩开。

然而，将AI能力引入生产环境面临三个现实问题：

  1. 数据隐私：调用云端API（如OpenAI）意味着业务数据要经过第三方服务，这对很多行业（金融、医疗、政务）是不可接受的
  2. 网络依赖：内网环境或离线场景无法使用云端AI
  3. 成本控制：生产环境的API调用量累积起来是一笔不小的开销

Ollama就是为解决这些问题而生的。

Ollama是一个极简的本地大模型运行框架 。它的核心价值可以用一句话概括：一行命令下载模型，一行命令运行对话。你可以在自己的Linux服务器上部署开源大模型（如Llama、Qwen、DeepSeek），所有数据都在本地处理，无需联网，无需API费用。

在Java SaaS部署的全链路中（第26篇CI/CD → 本篇大模型部署 → 第28篇AI辅助运维），大模型是从"自动化运维"走向"智能化运维"的关键一步。本篇将带你从零开始在Linux服务器上完成Ollama的部署、模型加载和Java应用集成。

二、Ollama是什么？为什么选它？

2.1 核心定位

Ollama是一个开源的大语言模型运行工具，它把原本复杂的大模型部署过程简化到了极致。在本地LLM运行工具中，Ollama以极简的使用体验脱颖而出：

  • 一行命令启动模型 ：ollama run llama3.2 就能运行一个7B模型
  • 跨平台支持：macOS（Apple Silicon/Intel）、Linux、Windows WSL2
  • REST API兼容：和OpenAI SDK接口格式兼容，迁移成本极低
  • 内置模型管理：模型拉取、删除、列表管理开箱即用

2.2 适用场景与局限性

维度 说明
✅ 适用场景 私有化AI助手、敏感数据处理、离线AI应用、开发测试环境、中小团队SaaS集成
❌ 局限性 性能不如vLLM，不支持多GPU张量并行，不适合大规模并发生产

💡 定位认知：Ollama是"让AI跑起来"的工具，不是"让AI跑到极致"的工具。对于大多数Java SaaS团队的私有化部署需求，Ollama是最务实的选择。

三、环境准备：部署前的必修课

为什么这样写 ：Ollama虽然使用简单，但大模型对硬件有基本要求。很多人在部署时忽视了硬件检查，结果模型下载后跑不起来------要么内存不足进程被Kill，要么磁盘空间不够模型无法下载。先检查硬件再动手，能避免90%的踩坑。

踩过的坑：

  • 坑1：在8GB内存的服务器上强行运行7B模型，系统直接OOM
  • 坑2：忘了检查磁盘空间，50GB的模型下载到一半失败

注意事项：

  • 以下配置以Rocky Linux 9 / Ubuntu 22.04为例
  • 生产环境建议使用NVIDIA GPU加速（CUDA）

3.1 硬件配置要求

代码块：硬件配置速查表

bash 复制代码 
# 1. 检查CPU信息
lscpu | grep -E "Model name|Socket|Core|Thread"

# 2. 检查内存大小
free -h

# 3. 检查磁盘空间（模型文件存放位置）
df -h /

# 4. 检查GPU（如有）
nvidia-smi

执行后说明：根据硬件配置选择合适的模型：

硬件配置 推荐模型 说明
8GB内存 + 无GPU Phi-3:mini（3.8B） 轻量级，CPU可运行
16GB内存 + 8GB显存 Qwen2.5:7b 中文场景最优
32GB内存 + 16GB显存 Qwen2.5:14b 高质量中文生成
64GB内存 + 48GB显存 Llama3.1:70b 高质量英文任务

3.2 安装CUDA驱动（GPU加速）

为什么这样写：Ollama在GPU上的推理速度比CPU快5-10倍。如果服务器有NVIDIA显卡，务必安装CUDA驱动------Ollama会自动检测并使用GPU加速。

代码块：安装NVIDIA驱动与CUDA

bash 复制代码 
# 1. 检查显卡型号
lspci | grep -i nvidia

# 2. 安装NVIDIA驱动（Rocky Linux 9）
sudo dnf install -y epel-release
sudo dnf install -y kernel-devel kernel-headers gcc make dkms
sudo dnf install -y nvidia-driver nvidia-driver-cuda

# Ubuntu 22.04
sudo apt update
sudo apt install -y nvidia-driver-535 nvidia-cuda-toolkit

# 3. 验证驱动安装
nvidia-smi
# 应显示GPU型号、驱动版本、CUDA版本

执行后说明 ：nvidia-smi正常输出后，重启服务器使驱动生效。Ollama安装后会自动检测CUDA并使用GPU加速 。验证方式：运行模型后观察nvidia-smi中的GPU使用率。

四、安装Ollama

4.1 一键安装（推荐）

为什么这样写：Ollama提供了官方一键安装脚本，这是最快、最可靠的安装方式。

踩过的坑：

  • 坑1：使用curl下载安装脚本时网络超时------国内服务器建议使用代理或手动下载
  • 坑2：安装后没配置systemd服务，服务器重启后Ollama不会自动启动

代码块：一键安装Ollama

bash 复制代码 
# 1. 一键安装（官方推荐）
curl -fsSL https://ollama.com/install.sh | sh

# 2. 验证安装
ollama --version
# 应输出类似：ollama version 0.5.7

# 3. 查看服务状态
sudo systemctl status ollama

执行后说明 ：安装脚本会自动完成：①下载Ollama二进制文件；②创建ollama用户；③配置systemd服务；④启动Ollama服务。如果ollama --version正常输出，说明安装成功。

4.2 手动安装（离线/定制场景）

为什么这样写：如果服务器无法访问外网，或者需要安装特定版本，可以使用手动安装方式。

代码块：手动安装Ollama

bash 复制代码 
# 1. 下载特定版本（以0.5.7为例）
curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
  | sudo tar x -C /usr

# 2. 验证安装
ollama --version

# 3. 手动创建systemd服务（如未自动创建）
sudo tee /etc/systemd/system/ollama.service << 'EOF'
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target
EOF

# 4. 启动服务
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

执行后说明 ：手动安装需要自行管理服务和权限。/usr/bin/ollama是默认安装路径，如果安装在别处需要调整ExecStart路径。

4.3 配置生产环境参数

为什么这样写 ：Ollama默认监听127.0.0.1:11434，只能本地访问。生产环境中，Java应用和Ollama可能部署在不同服务器上，需要配置外部访问。同时，模型默认存储在~/.ollama/models，建议改为独立数据盘。

踩过的坑：

  • 坑：忘记配置OLLAMA_ORIGINS，跨域请求被拒绝
  • 坑：模型存放在了系统盘，随着模型增多撑爆了根分区

代码块：生产环境配置

bash 复制代码 
# 1. 创建模型存储目录（建议放在独立数据盘）
sudo mkdir -p /data/ollama/models
sudo chown -R ollama:ollama /data/ollama

# 2. 通过systemd override配置环境变量
sudo systemctl edit ollama
# 添加以下内容：
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/data/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=5m"

# 3. 重启服务使配置生效
sudo systemctl daemon-reload
sudo systemctl restart ollama

# 4. 验证服务状态
sudo systemctl status ollama
curl http://localhost:11434/api/tags

执行后说明 ：OLLAMA_HOST=0.0.0.0:11434让Ollama监听所有网卡；OLLAMA_ORIGINS=*允许跨域请求；OLLAMA_MODELS指定模型存储路径；OLLAMA_KEEP_ALIVE设置模型在内存中的保持时间（默认5分钟），频繁调用时可适当延长。

五、模型管理：下载与运行

5.1 模型选型指南

为什么这样写：Ollama支持上百种模型，选哪个？这是新手最常见的困惑。不同的模型适合不同的场景------选错了要么跑不动（模型太大），要么效果不佳（模型太小）。

代码块：查看可用模型与下载

bash 复制代码 
# 1. 查看官方模型库（在线）
# 访问 https://ollama.com/library

# 2. 查看已下载的模型
ollama list

# 3. 下载推荐模型
# 中文通用场景（8GB显存）
ollama pull qwen2.5:7b

# 代码生成场景（8GB显存）
ollama pull deepseek-coder:7b

# 轻量级场景（4GB内存）
ollama pull phi3:mini

# 文本嵌入（向量化）
ollama pull nomic-embed-text

# 4. 查看模型详细信息
ollama show qwen2.5:7b

执行后说明 ：ollama pull会从官方仓库下载模型文件。模型文件通常为GGUF格式的量化版本，体积经过压缩。下载时间取决于模型大小和网络速度------7B模型约4-5GB，14B模型约9GB。

主流模型选型速查表：

模型 参数量 量化后大小 显存需求 中文能力 适用场景
Qwen2.5:7b 7B 4.7 GB 8 GB+ ⭐⭐⭐⭐⭐ 中文通用、日常对话
Llama3.1:8b 8B 4.7 GB 8 GB+ ⭐⭐⭐ 英文内容、逻辑推理
DeepSeek-Coder:7b 7B 4.7 GB 8 GB+ ⭐⭐⭐⭐ 代码生成、Bug调试
Phi-3:mini 3.8B 2.3 GB 4 GB+ ⭐⭐⭐ 低配环境、快速响应
Qwen2.5:14b 14B 9.0 GB 16 GB+ ⭐⭐⭐⭐⭐ 高质量中文生成

💡 新手推荐 ：Qwen2.5:7b（通义千问）------中文能力顶级、配置要求适中，是中文场景的最佳入门选择。

5.2 运行与交互

代码块：运行模型与对话

bash 复制代码 
# 1. 交互式对话（直接输入，Ctrl+D退出）
ollama run qwen2.5:7b

# 2. 单次生成（非交互式）
ollama run qwen2.5:7b "用Java写一个单例模式"

# 3. 查看正在运行的模型
ollama ps

# 4. 删除不再使用的模型（释放磁盘空间）
ollama rm phi3:mini

执行后说明 ：ollama run会先检查模型是否已下载，如未下载则自动拉取。交互模式下支持多轮对话，输入/bye退出。

六、API调用：让Java应用"对话"大模型

为什么这样写 ：Ollama的核心价值不仅是命令行交互，更是通过REST API为应用提供AI能力。Ollama提供了与OpenAI兼容的API接口，这意味着Java应用可以通过HTTP请求调用本地大模型。

6.1 REST API基础

代码块：API基础调用（curl示例）

bash 复制代码 
# 1. 生成文本（非流式）
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "用Java写一个单例模式",
  "stream": false
}'

# 2. 生成文本（流式输出）
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "解释一下什么是CI/CD",
  "stream": true
}'

# 3. 多轮对话（Chat模式）
curl http://localhost:11434/api/chat -d '{
  "model": "qwen2.5:7b",
  "messages": [
    {"role": "system", "content": "你是一个Java技术专家"},
    {"role": "user", "content": "Spring Boot和Quarkus有什么区别？"}
  ],
  "stream": false
}'

# 4. 查看已加载的模型
curl http://localhost:11434/api/tags

执行后说明 ：/api/generate是文本生成接口，/api/chat是多轮对话接口。两者都支持stream参数控制是否流式输出。model参数指定使用的模型名称，必须是已下载的模型。

6.2 Java集成方式

为什么这样写 ：Ollama提供了多种Java集成方式。对于Spring Boot项目，Spring AI是最优雅的选择------它提供了统一的AI API抽象层，Ollama只是其中一种实现，未来切换其他AI供应商无需改动业务代码。

方式一：Spring AI（推荐）

Spring AI提供了OllamaChatModel来支持Ollama的对话功能。

xml 复制代码 
<!-- pom.xml 依赖 -->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
    <version>1.0.0-M4</version>
</dependency>
yaml 复制代码 
# application.yml 配置
spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        model: qwen2.5:7b
        options:
          temperature: 0.7
java 复制代码 
@RestController
public class AIController {
    
    @Autowired
    private OllamaChatModel chatModel;
    
    @PostMapping("/ai/chat")
    public String chat(@RequestBody String prompt) {
        return chatModel.call(prompt);
    }
}

方式二：Ollama4j（轻量级Java库）

如果不想引入Spring AI全家桶，可以使用轻量级的Ollama4j库。它提供了完整的Ollama API封装：

xml 复制代码 
<!-- pom.xml 依赖 -->
<dependency>
    <groupId>io.github.ollama4j</groupId>
    <artifactId>ollama4j</artifactId>
    <version>1.0.0</version>
</dependency>
java 复制代码 
// Java代码示例
OllamaAPI ollamaAPI = new OllamaAPI("http://localhost:11434");
ollamaAPI.setRequestTimeoutSeconds(30);

// 生成文本
String response = ollamaAPI.generate("qwen2.5:7b", "用Java写一个单例模式", false);

// 多轮对话
ChatRequest request = ChatRequest.builder()
    .model("qwen2.5:7b")
    .messages(
        ChatMessage.builder().role("system").content("你是Java技术专家").build(),
        ChatMessage.builder().role("user").content("解释一下JVM的内存模型").build()
    )
    .build();
String chatResponse = ollamaAPI.chat(request);

方式三：原生HTTP调用

对于非Spring项目，直接使用HttpClient调用Ollama的REST API是最灵活的方式。

java 复制代码 
// 使用Java 11 HttpClient
HttpClient client = HttpClient.newHttpClient();
String json = "{\"model\":\"qwen2.5:7b\",\"prompt\":\"Hello\",\"stream\":false}";

HttpRequest request = HttpRequest.newBuilder()
    .uri(URI.create("http://localhost:11434/api/generate"))
    .header("Content-Type", "application/json")
    .POST(HttpRequest.BodyPublishers.ofString(json))
    .build();

HttpResponse<String> response = client.send(request, HttpResponse.BodyHandlers.ofString());
System.out.println(response.body());

七、性能优化：让大模型跑得更快

为什么这样写：大模型推理是计算密集型任务。同样的硬件，配置不当可能每秒只能生成5个token，优化后可以达到20+ tokens/s。以下优化技巧来自生产环境实践。

7.1 GPU加速优化

Ollama v0.11.8+默认启用了Flash Attention，这是一种高效计算注意力机制的算法，能显著提升长序列推理时的性能。

bash 复制代码 
# 1. 验证GPU是否被使用
ollama run qwen2.5:7b "你好"
# 另开终端运行 nvidia-smi 观察GPU使用率

# 2. 指定使用特定GPU
CUDA_VISIBLE_DEVICES=0 ollama serve

# 3. 多GPU场景（Ollama支持在多GPU上调度模型）
# Ollama会自动检测并使用所有可用GPU

7.2 模型量化选择

量化是在模型质量 和运行速度之间的权衡。Ollama默认使用Q4_K_M量化（4-bit），在保持较好效果的同时大幅减小模型体积。

量化级别 模型大小 推理速度 质量损失
Q4_K_M（默认） 最小 最快 较小
Q5_K_M 中等 中等 很小
Q8_0 最大 最慢 几乎无损

7.3 内存与并发优化

bash 复制代码 
# 设置Ollama环境变量优化性能
# 在 /etc/systemd/system/ollama.service.d/override.conf 中添加

[Service]
# 限制模型在内存中的驻留时间（频繁调用时延长）
Environment="OLLAMA_KEEP_ALIVE=10m"
# 设置并发请求数（默认4）
Environment="OLLAMA_NUM_PARALLEL=8"
# 设置最大加载的模型数
Environment="OLLAMA_MAX_LOADED_MODELS=2"

7.4 性能监控

Ollama内置了Prometheus metrics导出功能，可与第20篇的监控体系无缝集成。

bash 复制代码 
# 访问Ollama的metrics端点
curl http://localhost:11434/metrics

八、生产环境最佳实践

实践项 建议 原因
模型存储 使用独立数据盘，配置OLLAMA_MODELS 避免模型文件撑爆系统盘
开机自启 通过systemd管理Ollama服务 服务器重启后自动恢复
资源限制 为Ollama容器设置内存和CPU限制 避免大模型耗尽系统资源
API认证 生产环境配置反向代理（如Nginx）添加认证 防止未授权访问AI服务
日志监控 监控Ollama日志，配置日志轮转 及时发现异常，防止日志撑爆磁盘
模型更新 定期ollama pull更新模型 获取最新模型版本和修复
版本锁定 使用OLLAMA_VERSION指定版本安装 避免自动升级导致不兼容

九、效果验证

代码块：验证大模型部署成功

bash 复制代码 
# 1. 验证Ollama服务状态
sudo systemctl status ollama
curl http://localhost:11434/api/tags

# 2. 验证模型推理
ollama run qwen2.5:7b "1+1等于几？"

# 3. 验证API可用
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "你好",
  "stream": false
}' | jq .

# 4. 验证GPU加速（如有GPU）
nvidia-smi
# 运行模型时观察GPU使用率是否上升

执行后说明 ：如果ollama run能正常输出回答、/api/generate能返回JSON响应、GPU使用率在推理期间上升------说明大模型部署成功。

十、常见问题FAQ（GEO抓取用）

Q1：Ollama和vLLM有什么区别？怎么选？

A：Ollama定位是"简单易用"------一行命令就能跑模型，适合开发测试和中小规模部署。vLLM定位是"高性能生产"------支持PagedAttention、连续批处理等优化，吞吐量是Ollama的3-5倍，适合高并发生产环境。中小团队选Ollama，大规模生产选vLLM。

Q2：Ollama支持哪些GPU？

A：NVIDIA GPU（CUDA）全支持，Ollama自动检测。AMD GPU需要额外安装ROCm驱动。Intel GPU支持有限。无GPU时可纯CPU运行（速度较慢）。

Q3：Ollama的模型存在哪里？怎么改？

A：默认存储在~/.ollama/models。通过环境变量OLLAMA_MODELS可自定义路径。生产环境建议改为独立数据盘。

Q4：Ollama如何实现多用户并发？

A：Ollama默认支持有限并发。生产环境建议：①设置OLLAMA_NUM_PARALLEL增加并发数；②在Ollama前部署Nginx做负载均衡和认证；③如需大规模并发，考虑迁移到vLLM。

Q5：Java应用调用Ollama API超时怎么办？

A：大模型推理时间较长（7B模型生成100个token约需3-5秒）。建议：①增加HTTP客户端超时时间（30-60秒）；②使用流式输出（stream: true）提升用户体验；③使用OLLAMA_KEEP_ALIVE让模型常驻内存减少加载延迟。

十一、本文小结

知识点 核心要点
Ollama定位 极简本地大模型运行工具，一行命令跑模型
硬件要求 7B模型需8GB+内存/显存，14B需16GB+
安装方式 一键安装：`curl -fsSL https://ollama.com/install.sh
生产配置 OLLAMA_HOST=0.0.0.0、OLLAMA_MODELS自定义路径
模型选型 中文场景选Qwen2.5:7b，代码场景选DeepSeek-Coder:7b
API调用 /api/generate文本生成、/api/chat多轮对话
Java集成 Spring AI或Ollama4j
性能优化 GPU加速、Flash Attention、量化模型

💡 一句话记住本篇 ：Ollama让大模型部署变得像docker pull一样简单------ollama pull下载模型、ollama run启动对话、/api/generate为Java应用提供AI能力，三步走完从零到AI的最后一公里。

相关推荐
灵机一物4 小时前
企业选型参考：2026 CXL 内存扩展方案六强测评与落地指南
服务器·网络·数据库·人工智能
Web极客码4 小时前
如何用三段式确定性剪枝，为 LLM Agent 砍掉 35% 的 Token 成本？
服务器·人工智能·算法·机器学习
yeflx4 小时前
速腾Airy雷达使用记录
java·服务器·网络
公众号:fuwuqiBMC5 小时前
（转自“服务器BMC”）服务器BMC芯片——多Die（芯片）封装
运维·服务器·人工智能
jsons15 小时前
autofs挂载
linux·服务器·网络
liwulin05065 小时前
【ollama】自定义结构化输出
linux·前端·数据库·ollama
gs801406 小时前
【实战】记一次 Linux 服务器入侵排查：grok-agent 后门木马深度剖析与彻底清理
linux·运维·服务器
@Mr_LiuYang6 小时前
从聊天框到空间智能：GIS接入大模型的5种架构模式
大模型·空间智能·geoai·架构方案·时空大模型·gis智能体
星核0penstarry6 小时前
Coding Plan vs 运营商Token Plan：先选对赛道，再谈性价比
大模型·api
audyxiao0016 小时前
人工智能顶会AAAI 2026论文分享｜SlideBot：用于生成信息丰富、可靠、多模态幻灯片的多智能体框架
人工智能·大模型·aaai·智能体·幻灯片
热门推荐
012026年7月AI圈大地震：GPT-5.6被政府限制、Claude入驻Slack、Anthropic自研芯片02GitHub 镜像站点03如何新建文件夹？ 电脑新建文件夹的4种方法04AI科技热点日报 | 2026年07月01日05国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）06幻兽帕鲁 - 服务器管理员权限与 GM 命令完全指南07AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路08【解构】DeepSeek V4 发布：技术报告深度解读 + 横向对比六大开源模型，我们的判断是……092026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？10微信历史版本含下载地址（ Windows PC | 安卓 | MAC ）及设置微信不更新