大模型之Linux服务器部署大模型

一、离线手动安装Ollama(Linux)

步骤 1:去有网的电脑 下载 Ollama Linux 二进制包

打开网址(任意电脑浏览器):https://ollama.com/install/linux/ollama-linux-amd64
会自动下载一个文件:ollama-linux-amd64


步骤 2:把文件上传到你的 Linux 服务器

用工具:

  • Xshell
  • FinalShell
  • WinSCP
  • MobaXterm

上传到服务器目录,例如:/root/data/ollama

步骤 3:给执行权限

命令:chmod +x /root/data/ollama

步骤 4:启动服务

命令:ollama serve

步骤 5:设置开机自启

命令:vi /etc/systemd/system/ollama.service

粘贴下面内容到ollama.service**

复制代码
[Unit]
Description=Ollama Service
After=network.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Restart=always
RestartSec=3

[Install]
WantedBy=multi-user.target

保存退出,依次执行命令:

systemctl daemon-reload

systemctl enable ollama

systemctl start ollama

步骤 6:验证是否安装成功

命令:ollama --version

出现版本号 = 成功!

二、离线手动安装大模型(Linux)

有网机器下载模型包:ollama pull qwen2.5:7b

导出模型: ollama save qwen2.5:7b qwen2.5-7b.tar.gz

上传到离线服务器:ollama load qwen2.5-7b.tar.gz (怎么上传到服务器参考前面说到的步骤2,在上传后的目录下执行命令)

开始运行你的大模型 命令:ollama run qwen2.5:7b

额外小知识:

执行脚本 命令:sh ollama-setup.sh

复制代码
#!/bin/bash

# 启用全部 GPU
echo "OLLAMA_NUM_GPU=all" | sudo tee -a /etc/environment

# 修改模型存储路径(你可以自己改成你想要的目录)
echo "OLLAMA_MODELS=/data/ollama/models" | sudo tee -a /etc/environment

# 重启 ollama 服务
sudo systemctl restart ollama

echo "==================================="
echo "✅ GPU 已启用"
echo "✅ 模型路径已修改为 /data/ollama/models"
echo "✅ 配置已生效!"
echo "==================================="