一、离线手动安装Ollama(Linux)
步骤 1:去有网的电脑 下载 Ollama Linux 二进制包
打开网址(任意电脑浏览器):https://ollama.com/install/linux/ollama-linux-amd64
会自动下载一个文件:ollama-linux-amd64
步骤 2:把文件上传到你的 Linux 服务器
用工具:
- Xshell
- FinalShell
- WinSCP
- MobaXterm
上传到服务器目录,例如:/root/data/ollama
步骤 3:给执行权限
命令:chmod +x /root/data/ollama
步骤 4:启动服务
命令:ollama serve
步骤 5:设置开机自启
命令:vi /etc/systemd/system/ollama.service
粘贴下面内容到ollama.service**
[Unit]
Description=Ollama Service
After=network.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Restart=always
RestartSec=3
[Install]
WantedBy=multi-user.target
保存退出,依次执行命令:
systemctl daemon-reload
systemctl enable ollama
systemctl start ollama
步骤 6:验证是否安装成功
命令:ollama --version
出现版本号 = 成功!
二、离线手动安装大模型(Linux)
有网机器下载模型包:ollama pull qwen2.5:7b
导出模型: ollama save qwen2.5:7b qwen2.5-7b.tar.gz
上传到离线服务器:ollama load qwen2.5-7b.tar.gz (怎么上传到服务器参考前面说到的步骤2,在上传后的目录下执行命令)
开始运行你的大模型 命令:ollama run qwen2.5:7b
额外小知识:
执行脚本 命令:sh ollama-setup.sh
#!/bin/bash
# 启用全部 GPU
echo "OLLAMA_NUM_GPU=all" | sudo tee -a /etc/environment
# 修改模型存储路径(你可以自己改成你想要的目录)
echo "OLLAMA_MODELS=/data/ollama/models" | sudo tee -a /etc/environment
# 重启 ollama 服务
sudo systemctl restart ollama
echo "==================================="
echo "✅ GPU 已启用"
echo "✅ 模型路径已修改为 /data/ollama/models"
echo "✅ 配置已生效!"
echo "==================================="