Windows 安装 Ollama 及本地模型部署

Windows 安装 Ollama 及本地模型部署

在 Windows 系统上安装Ollama,下载并运行大语言模型，并通过命令行工具（如 curl 或 PowerShell）进行 API 调用验证。

第一步：下载与安装 Ollama

1. 访问官网：访问 https://ollama.com/download。

2. 下载安装包：页面会自动识别你的操作系统，点击"Download for Windows"按钮，下载 OllamaSetup.exe 安装包。

3. 运行安装程序：

   • 双击下载好的 .exe 文件。

     

   • 如果弹出用户账户控制（UAC）或 SmartScreen 警告，点击"是"或"更多信息"->"仍要运行"。

   • 在安装向导中，点击"Install"开始安装。默认安装路径通常为 C:\Program Files\Ollama。

   • 等待进度条完成，点击"Finish"。

4. 验证安装：

   • 安装完成后，Ollama 会自动在后台启动。你可以在任务栏右下角的系统托盘中看到一个羊驼图标 🦙。

   • 打开命令提示符（CMD）或 PowerShell，输入以下命令检查版本：

     ollama --version

   • 如果输出了版本号（例如 ollama version is 0.3.x），说明安装成功。
     
     ollama模型管理类API
     
     

第二步：下载并运行第一个模型

Ollama 本身只是一个运行引擎，你需要下载具体的模型才能使用。这里以轻量级的 llama3.2 或中文友好的 qwen2.5 为例。

1. 打开终端：保持 CMD 或 PowerShell 窗口打开。

2. 拉取模型：输入以下命令（以 Qwen2.5 7B 为例，适合大多数电脑）：

   ollama pull qwen2.5:7b
   ollama run qwen2.5:7b

   • 如果是第一次运行，Ollama 会自动从服务器下载模型文件。根据网络速度，可能需要几分钟到几十分钟。
   • 下载完成后，模型会自动加载到内存中，并进入交互式对话界面。

3. 开始对话：

   • 你可以直接输入问题，例如："你好，请介绍一下你自己。"
   • 模型会生成回答。
   • 输入 /bye 或按 Ctrl+D 退出对话模式，但模型服务仍在后台运行。
     
     断网进行对话
     
     在一次运行里、能够联系前文回答。 /bye退出，重新进入后、无法记得此前的对话
     

第三步：通过 API 调用验证（使用 curl 或 PowerShell）

Ollama 默认在本地 http://localhost:11434 提供兼容 OpenAI 标准的 API 服务。可以使用命令行工具来测试这个接口。

curl http://localhost:11434/api/generate -d "{\"model\": \"qwen2.5:7b\", \"prompt\": \"为什么天空是蓝色的？请用简短的语言回答。\", \"stream\": false}"

至此、完成在 Windows 上部署了 Ollama，知道基本的模型运行和 API 调用方法。后续可以将其集成到 Python 脚本、Java、Chatbox 等第三方客户端中，构建自己的本地 AI 应用。