Ollama和qwen2.5:7b本地部署

下载Ollama

方式1：通过官网直接使用命令通过脚本一键安装

bash 复制代码

curl -fsSL https://ollama.com/install.sh | sh

这种方式如果是国内用户一般会失败，因为命令会从国外资源下载。所以pass

方式2：到gitcode中提供的方式在线下载

bash 复制代码

curl -fsSL https://ollama.com/install.sh | sh

这个方式可以下载，就是太慢

方式3：到官网手动下载，通过命令离线安装

官网下载方式：https://docs.ollama.com/linux

方式4：通过网盘先下载，然后根据官网的安装命令，通过如下命令安装

bash 复制代码

sudo tar x -C /usr

我这里下载的是ollama-linux-amd64.tar.zst，这是一种新的压缩格式，，所以下载后需要下面方式解压：

复制代码

# 1. 先安装 zstd 工具（如果还没装）
sudo apt update
sudo apt install zstd -y

# 2. 使用正确的参数解压
sudo tar --use-compress-program=unzstd -xvf ollama-linux-amd64.tar.zst -C /usr

然后开始ollama的安装，如下：

bash 复制代码

# 1. 验证文件是否正确解压
ls -la /usr/bin/ollama
# 应该能看到 ollama 可执行文件

# 2. 创建 ollama 用户（用于运行服务）
sudo useradd -r -s /bin/false -m -d /var/lib/ollama ollama

# 3. 创建系统服务文件
sudo vim /etc/systemd/system/ollama.service

粘贴以下内容：

bash 复制代码

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=multi-user.target

bash 复制代码

# 4. 启动服务
sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama

# 5. 验证安装
ollama --version

到此Ollama已经安装成功了，下面开始安装大模型Qwen2.5-7B

bash 复制代码

ollama run qwen2.5:7b	直接运行，自动下载

安装后就可以开始对话了。

或者通过ollama的api方式调用qwen2.5也可以，如下：

bash 复制代码

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "你好",
  "stream": true
}'

然后就会看到如下信息就表示成功啦：

bash 复制代码

{"model":"qwen2.5:7b","created_at":"2026-03-19T02:04:30.496331334Z","response":"你好","done":false}
{"model":"qwen2.5:7b","created_at":"2026-03-19T02:04:47.623658942Z","response":"有什么","done":false}
{"model":"qwen2.5:7b","created_at":"2026-03-19T02:04:54.659688354Z","response":"问题","done":false}