把 DeepSeek 搬回自己电脑:Ollama+OpenWebUI+AnythingLLM 本地私有部署(含离线一键包)

摘要:在线 DeepSeek 高峰期 503、对话历史怕泄露、API 按量烧钱?本文用一套开源栈(Ollama + OpenWebUI + AnythingLLM + DeepSeek-R1)把私有 AI 搬回本机,附完整命令与架构图,并提供一个已下好模型权重的离线整合包。

上周四晚上十一点,我对着一段祖传屎山代码发呆,想让 AI 帮理一下调用链。手习惯性敲了 deepseek.com,结果------503,服务繁忙。重试三次,第三次直接把我半截对话干没了。更烦的是,那段代码是还没开源的内部逻辑,往公网大模型里贴?我可不想第二天被安全部门请喝茶。

那天我下定决心:搞一套本地私有 AI,数据不出本机,7x24 随便问,不花一分 API 钱。

但真动手才知道坑有多密。ollama run deepseek-r1:7b 下模型,卡 99% 突然断------GFW 抽风,重来还是断;OpenWebUI 用 docker 起,端口映射写错,浏览器白屏;AnythingLLM 想接本地知识库,向量模型又得单独下。一整套搞下来,半个周末没了。

所以我把跑通后的全套整理成了一个离线整合包 :模型权重提前下好、一键脚本自动配环境、连排障手册都写好了。下面先把原理和步骤讲清楚,包放评论区,懒得折腾的兄弟直接拿。

一、为什么非得本地部署

  1. 隐私:公司代码、私密文档不出本机,不怕泄露,也不用担心哪天供应商跑路。
  2. 稳定:不依赖官网服务,高峰期不 503,半夜想问就问。
  3. 免费:一次部署,无限次问,零 API 费用。
  4. 离线:模型已在本地,断网也能跑。

二、这套栈到底怎么分工(先看架构)

  • Ollama :模型运行时。负责下载、量化、加载模型,对外暴露 OpenAI 兼容 API(默认 11434 端口)。它是整个栈的发动机。
  • OpenWebUI:浏览器对话界面。类 ChatGPT,支持 Markdown、代码高亮、多用户、RBAC,还能接 RAG。前端门面。
  • AnythingLLM:最强本地知识库 / RAG 客户端。把你的 PDF / Word / 代码 txt 向量化,做成"私有知识库",回答能精确引用文档第几行。做个人/企业知识库首选。
  • DeepSeek-R1:推理模型。蒸馏版 7B 日常写码够用,14B 复杂分析更稳。

数据流 :浏览器 → OpenWebUI(:3000) → Ollama API(:11434) → 模型;AnythingLLM(:3001) 独立工作区做 RAG,底层同样调 Ollama。

三、分步教程(我实测过的)

步骤一:装 Ollama + 拉模型

去 ollama.com/download,一路下一步。然后:

bash 复制代码
ollama run deepseek-r1:7b

首次会下载约 4.6GB 量化模型。重点:国内网络常卡 99% 断流,这就是我打包的动机------包里模型权重已下好,直接跳过这步。

步骤二:起 OpenWebUI

有 Docker 一条命令:

bash 复制代码
docker run -d -p 3000:8080 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

浏览器开 http://localhost:3000,注册管理员,界面和 ChatGPT 几乎一样。Ollama 在本机的话它会自动连 11434。

步骤三:AnythingLLM 做知识库

装 AnythingLLM Desktop(或 docker :3001)。新建 Workspace,LLM Provider 选 Ollama,地址 http://127.0.0.1:11434,模型选 deepseek-r1:7b。Embedder 选内置 nomic-embed-text (本地离线跑,零门槛)。把 需求文档.pdf、API.txt 拖进去点 Save and Embed,就能问"根据本地文档第 14 行,这个接口该怎么调"------逼格很高。

步骤四:安全收尾(重要)

Ollama 默认只听 127.0.0.1,别手贱设 OLLAMA_HOST=0.0.0.0 暴露公网------已被曝出过大量安全事件。只想局域网用的话,放 VPN 后面再绑。

四、硬件怎么选(实测参考)

  • 8GB 内存:跑 1.5B / 4B,聊天写文案够用
  • 16GB + 核显:7B 丝滑,日常写码主力
  • 16GB + 3060 级独显:14B 复杂分析
  • 24GB+ 显存(4090 / 5090):32B 逼近云端质量

普通人选 7B,效果好又不吃配置;配置紧张选 1.5B;有独显直接上 14B。

五、几个我踩过的坑(FAQ)

  • ollama run 卡 99% 断流:国内拉模型常遇到。解决:换网络/代理,或直接用我包里已下好的权重,跳过下载。
  • OpenWebUI 浏览器白屏 :九成是端口冲突或 docker 没起来。先 docker ps 看容器在不在,再看 :3000 是否被占。
  • AnythingLLM 连不上 Ollama :地址别写 localhost,写 http://127.0.0.1:11434;若 OpenWebUI 在 docker 里、Ollama 在宿主机,需用 host.docker.internal 而不是 127.0.0.1。
  • 模型名写错 :deepseek-r1:7b 别打成 deepseek-r1-7b,Ollama 认冒号。
  • 显存爆了 OOM:调小模型(14B→7B→1.5B),或换量化更狠的 GGUF 版本。

六、我整理的离线整合包

把上面全套------Ollama 多版本安装包 + OpenWebUI + AnythingLLM + 已下好的 DeepSeek-R1 量化权重 + 双端一键脚本 + 排障手册------整成了离线整合包,解压即可跑通。

说明:这是开源组件整合包(Ollama / OpenWebUI / AnythingLLM / DeepSeek-R1 均开源可再分发),模型权重可核对许可证,非官方出品。

👉 **获取方式:

链接:https://pan.quark.cn/s/7f89fe8d34e6

提取码:ZfsH

七、折腾完的体感

那个周末之后,现在我写码卡壳就问本地 DeepSeek,公司代码安心贴,半夜 503 也不怕。数据稳稳躺在自己机器上,那种踏实感,用惯云服务的兄弟应该都懂。

相关推荐
mudtools1 小时前
一份声明,多份产物:飞书 SDK 的 AI 工具面是怎么生成的
人工智能·.net·ai编程
kyle~1 小时前
DINOv3 --- 自监督通用视觉特征引擎
人工智能·计算机视觉·ai
天远API1 小时前
零信任架构实战:基于天远企业二要素验证构建自动化跨境物流货代授信签约网关
人工智能·1024程序员节·工具分享
@嵌入式扫地僧1 小时前
实战教程:NVIDIA Jetson Nano 8GB 搭建本地 RAG 大语言模型知识库完整指南
人工智能·ai·jetson nano·1024程序员节·rag
全栈探索者1 小时前
出图模型怎么选?同一只猫的四场实测:Z-Image、Qwen-Image 2.1、SD1.5 三维对决
人工智能·macos·aigc·stablediffusion·comfyui
小年糕是糕手1 小时前
【AI】用 Python 做一个 AI 截图检索助手:把收藏夹里的截图找回来
linux·人工智能·python·chatgpt·agent·codex·deepseek
特立独行的猫a1 小时前
用仓颉写桌面应用的“薄壳框架”cj-tauri ,以及它的 AI 对话客户端 ai-chat
人工智能·harmonyos·tauri·仓颉·鸿蒙pc·cj-tarui·ai客户端
乐动心情1 小时前
AI推理性能优化的关键技术即演进路径
人工智能·性能优化
努力努力再努力FFF1 小时前
普通人适合考什么AI证书?不同基础和学习目标怎么选
人工智能·学习