Ollama和qwen2.5:7b本地部署

下载Ollama

方式1:通过官网直接使用命令通过脚本一键安装

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

这种方式如果是国内用户一般会失败,因为命令会从国外资源下载。所以pass

方式2:到gitcode中提供的方式在线下载

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

这个方式可以下载,就是太慢

方式3:到官网手动下载,通过命令离线安装

官网下载方式:https://docs.ollama.com/linux

方式4:通过网盘先下载,然后根据官网的安装命令,通过如下命令安装

bash 复制代码
sudo tar x -C /usr

我这里下载的是ollama-linux-amd64.tar.zst,这是一种新的压缩格式,,所以下载后需要下面方式解压:

复制代码
# 1. 先安装 zstd 工具(如果还没装)
sudo apt update
sudo apt install zstd -y

# 2. 使用正确的参数解压
sudo tar --use-compress-program=unzstd -xvf ollama-linux-amd64.tar.zst -C /usr

然后开始ollama的安装,如下:

bash 复制代码
# 1. 验证文件是否正确解压
ls -la /usr/bin/ollama
# 应该能看到 ollama 可执行文件

# 2. 创建 ollama 用户(用于运行服务)
sudo useradd -r -s /bin/false -m -d /var/lib/ollama ollama

# 3. 创建系统服务文件
sudo vim /etc/systemd/system/ollama.service

粘贴以下内容:

bash 复制代码
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=multi-user.target
bash 复制代码
# 4. 启动服务
sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama

# 5. 验证安装
ollama --version

到此Ollama已经安装成功了,下面开始安装大模型Qwen2.5-7B

bash 复制代码
ollama run qwen2.5:7b	直接运行,自动下载

安装后就可以开始对话了。

或者通过ollama的api方式调用qwen2.5也可以,如下:

bash 复制代码
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "你好",
  "stream": true
}'

然后就会看到如下信息就表示成功啦:

bash 复制代码
{"model":"qwen2.5:7b","created_at":"2026-03-19T02:04:30.496331334Z","response":"你好","done":false}
{"model":"qwen2.5:7b","created_at":"2026-03-19T02:04:47.623658942Z","response":"有什么","done":false}
{"model":"qwen2.5:7b","created_at":"2026-03-19T02:04:54.659688354Z","response":"问题","done":false}       
相关推荐
七夜zippoe2 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
wflynn7 小时前
AI 产品 ChatPRD 遭遇 token 欺诈,滥用者用免费试用构建游戏地图
ai·技术
万里侯15 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐15 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
最强小杰1 天前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai
Maynor9961 天前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
七夜zippoe1 天前
多 Agent 通信灾难:状态不一致导致雪崩故障的排查与防护
ai·agent·通信灾难·雪崩故障·排查与防护
Forget the Dream1 天前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
zdr尽职尽责1 天前
UnityCli 兼容2022版本
ui·unity·ai·c#·游戏引擎
Sharewinfo_BJ1 天前
从“看数据”到“做决策”:AI时代,BI的下一个形态是什么?
ai·数据分析·bi·智信bi