把 DeepSeek 搬回自己电脑:Ollama+OpenWebUI+AnythingLLM 本地私有部署(含离线一键包)

摘要:在线 DeepSeek 高峰期 503、对话历史怕泄露、API 按量烧钱?本文用一套开源栈(Ollama + OpenWebUI + AnythingLLM + DeepSeek-R1)把私有 AI 搬回本机,附完整命令与架构图,并提供一个已下好模型权重的离线整合包。

上周四晚上十一点,我对着一段祖传屎山代码发呆,想让 AI 帮理一下调用链。手习惯性敲了 deepseek.com,结果------503,服务繁忙。重试三次,第三次直接把我半截对话干没了。更烦的是,那段代码是还没开源的内部逻辑,往公网大模型里贴?我可不想第二天被安全部门请喝茶。

那天我下定决心:搞一套本地私有 AI,数据不出本机,7x24 随便问,不花一分 API 钱。

但真动手才知道坑有多密。ollama run deepseek-r1:7b 下模型,卡 99% 突然断------GFW 抽风,重来还是断;OpenWebUI 用 docker 起,端口映射写错,浏览器白屏;AnythingLLM 想接本地知识库,向量模型又得单独下。一整套搞下来,半个周末没了。

所以我把跑通后的全套整理成了一个离线整合包 :模型权重提前下好、一键脚本自动配环境、连排障手册都写好了。下面先把原理和步骤讲清楚,包放评论区,懒得折腾的兄弟直接拿。

一、为什么非得本地部署

  1. 隐私:公司代码、私密文档不出本机,不怕泄露,也不用担心哪天供应商跑路。
  2. 稳定:不依赖官网服务,高峰期不 503,半夜想问就问。
  3. 免费:一次部署,无限次问,零 API 费用。
  4. 离线:模型已在本地,断网也能跑。

二、这套栈到底怎么分工(先看架构)

  • Ollama :模型运行时。负责下载、量化、加载模型,对外暴露 OpenAI 兼容 API(默认 11434 端口)。它是整个栈的发动机。
  • OpenWebUI:浏览器对话界面。类 ChatGPT,支持 Markdown、代码高亮、多用户、RBAC,还能接 RAG。前端门面。
  • AnythingLLM:最强本地知识库 / RAG 客户端。把你的 PDF / Word / 代码 txt 向量化,做成"私有知识库",回答能精确引用文档第几行。做个人/企业知识库首选。
  • DeepSeek-R1:推理模型。蒸馏版 7B 日常写码够用,14B 复杂分析更稳。

数据流 :浏览器 → OpenWebUI(:3000) → Ollama API(:11434) → 模型;AnythingLLM(:3001) 独立工作区做 RAG,底层同样调 Ollama。

三、分步教程(我实测过的)

步骤一:装 Ollama + 拉模型

去 ollama.com/download,一路下一步。然后:

bash 复制代码
ollama run deepseek-r1:7b

首次会下载约 4.6GB 量化模型。重点:国内网络常卡 99% 断流,这就是我打包的动机------包里模型权重已下好,直接跳过这步。

步骤二:起 OpenWebUI

有 Docker 一条命令:

bash 复制代码
docker run -d -p 3000:8080 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

浏览器开 http://localhost:3000,注册管理员,界面和 ChatGPT 几乎一样。Ollama 在本机的话它会自动连 11434。

步骤三:AnythingLLM 做知识库

装 AnythingLLM Desktop(或 docker :3001)。新建 Workspace,LLM Provider 选 Ollama,地址 http://127.0.0.1:11434,模型选 deepseek-r1:7b。Embedder 选内置 nomic-embed-text (本地离线跑,零门槛)。把 需求文档.pdf、API.txt 拖进去点 Save and Embed,就能问"根据本地文档第 14 行,这个接口该怎么调"------逼格很高。

步骤四:安全收尾(重要)

Ollama 默认只听 127.0.0.1,别手贱设 OLLAMA_HOST=0.0.0.0 暴露公网------已被曝出过大量安全事件。只想局域网用的话,放 VPN 后面再绑。

四、硬件怎么选(实测参考)

  • 8GB 内存:跑 1.5B / 4B,聊天写文案够用
  • 16GB + 核显:7B 丝滑,日常写码主力
  • 16GB + 3060 级独显:14B 复杂分析
  • 24GB+ 显存(4090 / 5090):32B 逼近云端质量

普通人选 7B,效果好又不吃配置;配置紧张选 1.5B;有独显直接上 14B。

五、几个我踩过的坑(FAQ)

  • ollama run 卡 99% 断流:国内拉模型常遇到。解决:换网络/代理,或直接用我包里已下好的权重,跳过下载。
  • OpenWebUI 浏览器白屏 :九成是端口冲突或 docker 没起来。先 docker ps 看容器在不在,再看 :3000 是否被占。
  • AnythingLLM 连不上 Ollama :地址别写 localhost,写 http://127.0.0.1:11434;若 OpenWebUI 在 docker 里、Ollama 在宿主机,需用 host.docker.internal 而不是 127.0.0.1。
  • 模型名写错 :deepseek-r1:7b 别打成 deepseek-r1-7b,Ollama 认冒号。
  • 显存爆了 OOM:调小模型(14B→7B→1.5B),或换量化更狠的 GGUF 版本。

六、我整理的离线整合包

把上面全套------Ollama 多版本安装包 + OpenWebUI + AnythingLLM + 已下好的 DeepSeek-R1 量化权重 + 双端一键脚本 + 排障手册------整成了离线整合包,解压即可跑通。

说明:这是开源组件整合包(Ollama / OpenWebUI / AnythingLLM / DeepSeek-R1 均开源可再分发),模型权重可核对许可证,非官方出品。

👉 **获取方式:

链接:https://pan.quark.cn/s/7f89fe8d34e6

提取码:ZfsH

七、折腾完的体感

那个周末之后,现在我写码卡壳就问本地 DeepSeek,公司代码安心贴,半夜 503 也不怕。数据稳稳躺在自己机器上,那种踏实感,用惯云服务的兄弟应该都懂。

相关推荐
泯泷35 分钟前
AI Agent 的下一站:让世界主动来找它
人工智能·llm·agent
xsd202411181 小时前
MediaMTX + FFmpeg 搭一套轻量 RTSP 流服务器
人工智能
北漂人Java1 小时前
基于 Spring AI Alibaba WorkFlow 构建 Java 生产级 AI Agent
java·人工智能·spring
丘山录1 小时前
本地部署 llama.cpp,3.9G 盒子只能开 5.8 万
人工智能
tinggu1 小时前
从 $6.22 到 $113.96:拆解 AI 用纯 Python 在 Blender 5.2 中“手搓”百万面 3D 场景的工程真相
人工智能
Linye1 小时前
AI 写的 HTML 原型全是空壳?聊聊真实 DOM 交互避坑
前端·人工智能
师夷长技以自愈1 小时前
手搓 AI Agent 第 7 篇:菜做砸了别硬炒——错误分类 + 双账本熔断
人工智能·python
调接口的阿光2 小时前
调用对话接口时输出被截断怎么办:先看 finish_reason,再决定是续写一次、缩小范围,还是换成更短的格式(Python)
人工智能·python
东鸿电子Eastron2 小时前
工厂节能降本落地指南:从精准能源计量搭建数字化管理基础
大数据·人工智能·能源·智能电表·能耗管理
师夷长技以自愈2 小时前
手搓 AI Agent 第 6 篇:先别动刀——Plan Mode 让 AI 报完方案才动手
人工智能