摘要:在线 DeepSeek 高峰期 503、对话历史怕泄露、API 按量烧钱?本文用一套开源栈(Ollama + OpenWebUI + AnythingLLM + DeepSeek-R1)把私有 AI 搬回本机,附完整命令与架构图,并提供一个已下好模型权重的离线整合包。
上周四晚上十一点,我对着一段祖传屎山代码发呆,想让 AI 帮理一下调用链。手习惯性敲了 deepseek.com,结果------503,服务繁忙。重试三次,第三次直接把我半截对话干没了。更烦的是,那段代码是还没开源的内部逻辑,往公网大模型里贴?我可不想第二天被安全部门请喝茶。
那天我下定决心:搞一套本地私有 AI,数据不出本机,7x24 随便问,不花一分 API 钱。
但真动手才知道坑有多密。ollama run deepseek-r1:7b 下模型,卡 99% 突然断------GFW 抽风,重来还是断;OpenWebUI 用 docker 起,端口映射写错,浏览器白屏;AnythingLLM 想接本地知识库,向量模型又得单独下。一整套搞下来,半个周末没了。
所以我把跑通后的全套整理成了一个离线整合包 :模型权重提前下好、一键脚本自动配环境、连排障手册都写好了。下面先把原理和步骤讲清楚,包放评论区,懒得折腾的兄弟直接拿。

一、为什么非得本地部署
- 隐私:公司代码、私密文档不出本机,不怕泄露,也不用担心哪天供应商跑路。
- 稳定:不依赖官网服务,高峰期不 503,半夜想问就问。
- 免费:一次部署,无限次问,零 API 费用。
- 离线:模型已在本地,断网也能跑。
二、这套栈到底怎么分工(先看架构)
- Ollama :模型运行时。负责下载、量化、加载模型,对外暴露 OpenAI 兼容 API(默认
11434端口)。它是整个栈的发动机。 - OpenWebUI:浏览器对话界面。类 ChatGPT,支持 Markdown、代码高亮、多用户、RBAC,还能接 RAG。前端门面。
- AnythingLLM:最强本地知识库 / RAG 客户端。把你的 PDF / Word / 代码 txt 向量化,做成"私有知识库",回答能精确引用文档第几行。做个人/企业知识库首选。
- DeepSeek-R1:推理模型。蒸馏版 7B 日常写码够用,14B 复杂分析更稳。
数据流 :浏览器 → OpenWebUI(:3000) → Ollama API(:11434) → 模型;AnythingLLM(:3001) 独立工作区做 RAG,底层同样调 Ollama。

三、分步教程(我实测过的)
步骤一:装 Ollama + 拉模型
去 ollama.com/download,一路下一步。然后:
bash
ollama run deepseek-r1:7b
首次会下载约 4.6GB 量化模型。重点:国内网络常卡 99% 断流,这就是我打包的动机------包里模型权重已下好,直接跳过这步。
步骤二:起 OpenWebUI
有 Docker 一条命令:
bash
docker run -d -p 3000:8080 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
浏览器开 http://localhost:3000,注册管理员,界面和 ChatGPT 几乎一样。Ollama 在本机的话它会自动连 11434。
步骤三:AnythingLLM 做知识库
装 AnythingLLM Desktop(或 docker :3001)。新建 Workspace,LLM Provider 选 Ollama,地址 http://127.0.0.1:11434,模型选 deepseek-r1:7b。Embedder 选内置 nomic-embed-text (本地离线跑,零门槛)。把 需求文档.pdf、API.txt 拖进去点 Save and Embed,就能问"根据本地文档第 14 行,这个接口该怎么调"------逼格很高。
步骤四:安全收尾(重要)
Ollama 默认只听 127.0.0.1,别手贱设 OLLAMA_HOST=0.0.0.0 暴露公网------已被曝出过大量安全事件。只想局域网用的话,放 VPN 后面再绑。
四、硬件怎么选(实测参考)
- 8GB 内存:跑 1.5B / 4B,聊天写文案够用
- 16GB + 核显:7B 丝滑,日常写码主力
- 16GB + 3060 级独显:14B 复杂分析
- 24GB+ 显存(4090 / 5090):32B 逼近云端质量
普通人选 7B,效果好又不吃配置;配置紧张选 1.5B;有独显直接上 14B。
五、几个我踩过的坑(FAQ)
ollama run卡 99% 断流:国内拉模型常遇到。解决:换网络/代理,或直接用我包里已下好的权重,跳过下载。- OpenWebUI 浏览器白屏 :九成是端口冲突或 docker 没起来。先
docker ps看容器在不在,再看:3000是否被占。 - AnythingLLM 连不上 Ollama :地址别写
localhost,写http://127.0.0.1:11434;若 OpenWebUI 在 docker 里、Ollama 在宿主机,需用host.docker.internal而不是127.0.0.1。 - 模型名写错 :
deepseek-r1:7b别打成deepseek-r1-7b,Ollama 认冒号。 - 显存爆了 OOM:调小模型(14B→7B→1.5B),或换量化更狠的 GGUF 版本。
六、我整理的离线整合包
把上面全套------Ollama 多版本安装包 + OpenWebUI + AnythingLLM + 已下好的 DeepSeek-R1 量化权重 + 双端一键脚本 + 排障手册------整成了离线整合包,解压即可跑通。
说明:这是开源组件整合包(Ollama / OpenWebUI / AnythingLLM / DeepSeek-R1 均开源可再分发),模型权重可核对许可证,非官方出品。
👉 **获取方式:
链接:https://pan.quark.cn/s/7f89fe8d34e6
提取码:ZfsH
七、折腾完的体感
那个周末之后,现在我写码卡壳就问本地 DeepSeek,公司代码安心贴,半夜 503 也不怕。数据稳稳躺在自己机器上,那种踏实感,用惯云服务的兄弟应该都懂。