DeepSeek火爆全网，官网宕机？本地部署一个随便玩「LLM探索」

前言

最近 DeepSeek 狠狠刷了一波屏，国产大模型真的越来越厉害了👍，官方的服务器已经爆满了，以至于频繁出现反应迟缓甚至宕机的情况，和两年多之前 ChatGPT 的遭遇颇为相似。

我已经好久没有本地部署模型了（现在各厂商的模型都便宜量大），这次正好来试试 DeepSeek 开源模型的效果。

关于AI大模型的扩展阅读

安装 ollama

我是在 Linux 服务器上安装的，一行命令就可以。如果是 Windows 的话，可能是下载安装包就行。

bash 复制代码

curl -fsSL https://ollama.com/install.sh | sh

我安装的时候似乎遇到网络问题

改成先下载

bash 复制代码

wget https://ollama.com/install.sh

然后手动执行安装，就可以了

bash 复制代码

sh ./install.sh

配置 ollama 监听地址

ollama 安装后默认监听 127.0.0.1, 为了方便使用，要么修改监听地址，要么用 SSH 转发，这里我选择了修改地址

bash 复制代码

sudo systemctl edit ollama

它会自动在 /etc/systemd/system/ollama.service.d/override.conf 中存储你添加或修改的配置。

在里面添加配置

ini 复制代码

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

即可覆盖主服务文件里对 OLLAMA_HOST 的设置，其他环境变量（如 PATH 等）则仍保留主服务文件里的值。

验证

先重启以下

bash 复制代码

sudo systemctl daemon-reload
sudo systemctl restart ollama

然后执行以下命令验证

bash 复制代码

sudo systemctl show ollama | grep Environment

你会看到系统最终为该服务设置的所有环境变量。其中如果存在同名变量，就会以最后写入（即 override 配置）的值为准。

搜索模型

https://ollama.com/search?q = deepseek

目前最火的 DeepSeek-R1 排在显眼位置

这里根据显存选择合适的模型，我选了 14b 的模型

右侧有安装命令，点击按钮复制

安装

接着执行命令

bash 复制代码

ollama run deepseek-r1:14b

开始下载，14b 的模型大小是 9GB

使用

在命令行可以直接使用

安装 Open WebUI

https://github.com/open-webui/open-webui

pip 安装

bash 复制代码

conda create -n open-webui python=3.11

切换环境

bash 复制代码

conda activate open-webui

安装

bash 复制代码

pip install open-webui

启动

bash 复制代码

open-webui serve

docker

官方只提供了 docker 命令

bash 复制代码

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

我改成了 docker-compose 配置

yaml 复制代码

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    extra_hosts:
      - "host.docker.internal:host-gateway"
    volumes:
      - "./open-webui:/app/backend/data"

SSH 转发

在本机执行以下命令，将服务器的端口转发到本机

bash 复制代码

ssh -L 3000:localhost:3000 用户名@服务器地址 -p 端口

这样就可以在本机的浏览器打开 http://localhost:3000 访问到 webui 了

使用 webui

很简单，第一次打开会需要创建管理员账号

进入之后界面与 ChatGPT 有点相似

和 DeepSeek 模型对话，这个14b的模型就感觉效果已经不错了，如果完整版模型就更好，真的未来可期啊！

后记

据说 DeepSeek 的代码能力很强，可惜现在官网的 API 服务进不去。

下一篇文章我来试试拿本地部署的 DeepSeek 来写代码，看看效果如何。

DeepSeek火爆全网，官网宕机？本地部署一个随便玩「LLM探索」

前言

关于AI大模型的扩展阅读

安装 ollama

配置 ollama 监听地址

验证

搜索模型

安装

使用

安装 Open WebUI

pip 安装

docker

SSH 转发

使用 webui

后记

参考资料