Linux服务器离线安装ollama及大模型

Linux服务器离线安装ollama及大模型

核心思路:使用一台可以联网的电脑将需要的ollama安装包和大模型下载到本地,之后传输到Linux服务器上安装并配置

环境说明 联网机:macOS M1Pro Linux服务器:x86_64 安装ollama版本:v0.6.4 (某些新模型不支持低版本ollama,最好用新一点的) 安装的大模型:llama3.2-vision:11b 官网地址

下载ollama安装包

前往 下载地址,下载对应的Linux版本ollama

下载大模型

在联网机上运行ollama pull llama3.2-vision,将模型下载到本地,默认模型的安装路径为~/.ollama/models,其中blobs文件夹和manifests文件夹内容如下

  • ~/.ollama/models/blobs/(模型文件),文件名形式(如 sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc)
  • ~/.ollama/models/manifests/(元数据)

其对应关系为 每个模型的元数据(如文件列表)存储在 manifests 文件夹中。例如:

进入 manifests/registry.ollama.ai/<模型仓库>/<模型名称>/<版本> 目录。 打开 manifest.json 文件,查看其中的 layers 字段,每个层(layer)包含 digest(哈希值)和 size(文件大小)。根据 digest 值到 blobs 文件夹中找到对应的文件。

安装ollama

  1. 使用scp将ollama压缩包上传到服务器
  2. 解压缩:sudo tar -C /usr -xzf ollama-linux-amd64.tgz
  3. 输入以下命令启动 Ollama:ollama serve
  4. 另开启一个终端,输入以下命令,验证ollama是否运行成功:ollama -v

转移大模型

  • 复制 blobs 和 manifests 文件夹到目标机器的 ~/.ollama/models/ 目录。
  • 确保文件权限正确(如 chmod -R 700 ~/.ollama)。
  • 运行 ollama list 验证模型是否可用。

将 Ollama 添加为自启动服务(推荐)

首先,为 Ollama 创建用户和组:

bash 复制代码
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

然后在该位置:/etc/systemd/system/ollama.service 创建服务文件

ini 复制代码
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

最后启动服务:

bash 复制代码
sudo systemctl daemon-reload
sudo systemctl enable ollama
相关推荐
GitCode官方4 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI4 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP5 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷5 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考5 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI5 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具
程序员韩星5 小时前
OpenAI 兼容接口返回 404,先查请求地址,再查模型名
前端·人工智能·http
Cosolar6 小时前
2026 年 Java AI Agent 生态全景盘点:50+ Java 开源项目的分类、实测与选型判断
人工智能·架构·agent
花椒技术6 小时前
从“实时生成游戏”出发,我们用 AI 做了四次游戏开发尝试
人工智能·aigc·游戏开发
其实防守也摸鱼6 小时前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构