Linux服务器离线安装ollama及大模型

Linux服务器离线安装ollama及大模型

核心思路：使用一台可以联网的电脑将需要的ollama安装包和大模型下载到本地，之后传输到Linux服务器上安装并配置

环境说明 联网机：macOS M1Pro Linux服务器：x86_64 安装ollama版本：v0.6.4 （某些新模型不支持低版本ollama，最好用新一点的） 安装的大模型：llama3.2-vision:11b 官网地址

下载ollama安装包

前往 下载地址，下载对应的Linux版本ollama

下载大模型

在联网机上运行ollama pull llama3.2-vision，将模型下载到本地，默认模型的安装路径为~/.ollama/models，其中blobs文件夹和manifests文件夹内容如下

• ~/.ollama/models/blobs/（模型文件)，文件名形式（如 sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc）
• ~/.ollama/models/manifests/（元数据）

其对应关系为 每个模型的元数据（如文件列表）存储在 manifests 文件夹中。例如：

进入 manifests/registry.ollama.ai/<模型仓库>/<模型名称>/<版本> 目录。 打开 manifest.json 文件，查看其中的 layers 字段，每个层（layer）包含 digest（哈希值）和 size（文件大小）。根据 digest 值到 blobs 文件夹中找到对应的文件。

安装ollama

1. 使用scp将ollama压缩包上传到服务器
2. 解压缩：sudo tar -C /usr -xzf ollama-linux-amd64.tgz
3. 输入以下命令启动 Ollama：ollama serve
4. 另开启一个终端，输入以下命令，验证ollama是否运行成功：ollama -v

转移大模型

• 复制 blobs 和 manifests 文件夹到目标机器的 ~/.ollama/models/ 目录。
• 确保文件权限正确（如 chmod -R 700 ~/.ollama）。
• 运行 ollama list 验证模型是否可用。

将 Ollama 添加为自启动服务（推荐）

首先，为 Ollama 创建用户和组：

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

然后在该位置：/etc/systemd/system/ollama.service 创建服务文件

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

最后启动服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama