Windows 本地部署私有 AI 全攻略:纯 CPU 环境(Ollama + Open WebUI)

**摘要:**本文面向没有独立显卡的 Windows 用户,完整演示如何在纯 CPU 环境下搭建一套可离线使用的私有 AI 对话系统。全文按五个阶段推进:先启用 WSL 2 并安装配置 Docker Desktop 与镜像加速,再用 Docker 部署 Ollama 引擎并做数据持久化,接着下载运行轻量级模型 qwen2.5:1.5b,然后部署 Open WebUI 网页界面,最后完成账号注册与模型选择。文末补充 WSL 内存限制、网页语音对话等进阶优化和日常常用命令,帮助读者把整套环境稳定跑起来。

一、方案概览与前置说明

整套方案由三个组件构成:WSL 2 提供 Linux 运行环境,Docker Desktop 负责容器管理,Ollama 负责模型推理,Open WebUI 提供浏览器端的聊天界面。全部组件运行在本机,模型文件与对话数据都保存在本地硬盘,不依赖任何在线服务。

开始之前,请确认以下前置条件:

  • 操作系统为 Windows 10(2004 及以上版本)或 Windows 11,且已开启 CPU 虚拟化(可在任务管理器「性能」页查看虚拟化是否已启用)。
  • 建议内存 16GB 及以上,纯 CPU 推理对内存比较敏感。
  • 预留至少 10GB 磁盘空间,用于存放 Docker 镜像和模型文件。
  • 全程需要管理员权限的 PowerShell 窗口。

纯 CPU 环境的核心原则是「模型要小」。参数量越大,推理速度下降越明显,后文会给出具体的模型选择建议。

二、第一阶段:基础环境准备

2.1 启用 WSL 2

以管理员身份运行 PowerShell,输入以下命令并回车,等待安装完成后重启电脑:

powershell 复制代码
wsl --install

重启后,在 PowerShell 中输入下面的命令查看状态:

powershell 复制代码
wsl --status

如果输出中显示「默认版本:2」,说明 WSL 2 已启用成功。

2.2 安装 Docker Desktop

下载 Docker Desktop 安装包后双击运行,在配置界面务必按以下方式选择:

  • Per-user installation (Recommended):单用户安装,推荐选项。
  • Use WSL 2 instead of Hyper-V:勾选,使用 WSL 2 作为后端。
  • Allow Windows Containers:不要勾选。

安装完成后启动 Docker Desktop,左下角显示绿色的 Engine running 即表示引擎已就绪。

2.3 配置 Docker 镜像加速

点击 Docker Desktop 右上角的齿轮图标进入 Settings ,切换到 Docker Engine,把右侧的 JSON 配置替换为:

json 复制代码
{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://docker.1ms.run",
    "https://docker.m.daocloud.io"
  ]
}

点击 Apply & Restart 重启 Docker,使镜像加速配置生效。

三、第二阶段:部署 Ollama 引擎

打开 PowerShell,先拉取 Ollama 镜像:

powershell 复制代码
docker pull ollama/ollama

然后启动容器,同时配置数据持久化和开机自启:

powershell 复制代码
docker run -d --name ollama -p 11434:11434 -v ollama:/root/.ollama --restart always ollama/ollama

关键参数说明:

  • -v ollama:/root/.ollama:把模型文件挂载到本地数据卷,即使容器被删除,模型依然保留。
  • --restart always:开机自动启动容器,避免重启后服务消失。
  • -p 11434:11434:把 Ollama 的默认端口映射到宿主机,供后续调用。

四、第三阶段:下载并运行大模型

进入容器内部运行模型:

powershell 复制代码
docker exec -it ollama ollama run qwen2.5:1.5b

纯 CPU 环境下的模型选择建议:

  • 首选 qwen2.5:1.5b:模型体积约 1GB,推理速度飞快,日常问答足够用。
  • 避坑提醒:不要尝试 9B 或更大的模型,纯 CPU 推理会慢到难以接受。

出现 >>> 符号后即可直接对话,输入 /bye 退出交互模式。

五、第四阶段:部署 Open WebUI 网页版

回到 PowerShell,运行以下命令启动 Open WebUI 容器:

powershell 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

启动后执行下面的命令确认容器状态:

powershell 复制代码
docker ps

当 open-webui 的状态列出现 (healthy) 字样时,说明网页服务已正常就绪。

六、第五阶段:开启私人 AI 之旅

  1. 浏览器访问 http://localhost:3000。
  2. 注册管理员账号,账号信息可以随意填写,所有数据都保存在本地。
  3. 点击页面最上方的下拉菜单,选择 qwen2.5:1.5b,即可开始聊天。

七、进阶优化:内存与语音

7.1 限制 WSL 内存,防止卡死

在 C:\Users\你的用户名\ 目录下新建 .wslconfig 文件,填入以下内容:

ini 复制代码
[wsl2]
memory=20GB
processors=8

保存后在 PowerShell 中执行下面的命令,让配置生效:

powershell 复制代码
wsl --shutdown

7.2 开启网页语音对话

在 Open WebUI 左下角点击头像进入 设置(Settings) ,切换到 音频(Audio):

  • STT Engine 选择 Web API。
  • TTS Engine 选择 Browser。
  • 开启 Conversation Mode,即可进行语音对话。

八、日常常用命令

操作 命令
查看运行状态 docker ps
停止网页版 docker stop open-webui
启动网页版 docker start open-webui
彻底释放内存 wsl --shutdown

九、总结

按照以上五个阶段操作,即可在纯 CPU 的 Windows 机器上跑起一套完全本地化的私有 AI 对话系统:Ollama 负责模型推理,Open WebUI 提供友好的网页界面,Docker 与 WSL 2 保证环境隔离和可迁移性。实际使用中建议优先选择 1.5B 级别的小模型,并通过 .wslconfig 限制 WSL 资源占用,避免长时间运行导致系统卡顿。

相关推荐
snakeshe10103 分钟前
大模型 Function Call 实战入门:原理、环境搭建与多轮调用完整教程
人工智能
用户360055579004 分钟前
Kestrel_VLLM - 43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染
人工智能
狒狒AI11 分钟前
DeepSeek Harness 插件生态拆解:31,259 个仓库与 93% 装不上的口径差
人工智能
AI前端工程狮12 分钟前
我把 MCP 长任务拆成三个工具,token 账单涨了 7 倍
javascript·人工智能·程序员
阿里云大数据AI技术14 分钟前
如何用 STAROps Elasticsearch 智能助手看穿“搜索变慢”
人工智能·agent
用户3214687511117 分钟前
不会编程也能考AI证书?应用型与技术型认证的门槛差在哪
人工智能
程序员cxuan26 分钟前
GPT-6.2 Astra 发布了,但口碑崩了。。。
人工智能·后端·程序员
SelectDB28 分钟前
让数据更易查、更好用:正泰集团基于 SelectDB 的 AI 应用实践
人工智能
字节跳动数据库41 分钟前
火山引擎缓存数据库:如何构建超大规模缓存集群的无感弹性能力
数据库·人工智能·后端