DeepSeek火爆全网,官网宕机?本地部署一个随便玩「LLM探索」

前言

最近 DeepSeek 狠狠刷了一波屏,国产大模型真的越来越厉害了👍,官方的服务器已经爆满了,以至于频繁出现反应迟缓甚至宕机的情况,和两年多之前 ChatGPT 的遭遇颇为相似。

我已经好久没有本地部署模型了(现在各厂商的模型都便宜量大),这次正好来试试 DeepSeek 开源模型的效果。

关于AI大模型的扩展阅读

安装 ollama

https://ollama.com/download/linux

我是在 Linux 服务器上安装的,一行命令就可以。如果是 Windows 的话,可能是下载安装包就行。

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

我安装的时候似乎遇到网络问题

改成先下载

bash 复制代码
wget https://ollama.com/install.sh

然后手动执行安装,就可以了

bash 复制代码
sh ./install.sh

配置 ollama 监听地址

ollama 安装后默认监听 127.0.0.1, 为了方便使用,要么修改监听地址,要么用 SSH 转发,这里我选择了修改地址

bash 复制代码
sudo systemctl edit ollama

它会自动在 /etc/systemd/system/ollama.service.d/override.conf 中存储你添加或修改的配置。

在里面添加配置

ini 复制代码
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

即可覆盖主服务文件里对 OLLAMA_HOST 的设置,其他环境变量(如 PATH 等)则仍保留主服务文件里的值。

验证

先重启以下

bash 复制代码
sudo systemctl daemon-reload
sudo systemctl restart ollama

然后执行以下命令验证

bash 复制代码
sudo systemctl show ollama | grep Environment

你会看到系统最终为该服务设置的所有环境变量。其中如果存在同名变量,就会以最后写入(即 override 配置)的值为准。

搜索模型

https://ollama.com/search?q = deepseek

目前最火的 DeepSeek-R1 排在显眼位置

这里根据显存选择合适的模型,我选了 14b 的模型

右侧有安装命令,点击按钮复制

安装

接着执行命令

bash 复制代码
ollama run deepseek-r1:14b

开始下载,14b 的模型大小是 9GB

使用

在命令行可以直接使用

安装 Open WebUI

https://github.com/open-webui/open-webui

pip 安装

bash 复制代码
conda create -n open-webui python=3.11

切换环境

bash 复制代码
conda activate open-webui

安装

bash 复制代码
pip install open-webui

启动

bash 复制代码
open-webui serve

docker

官方只提供了 docker 命令

bash 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

我改成了 docker-compose 配置

yaml 复制代码
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    extra_hosts:
      - "host.docker.internal:host-gateway"
    volumes:
      - "./open-webui:/app/backend/data"

SSH 转发

在本机执行以下命令,将服务器的端口转发到本机

bash 复制代码
ssh -L 3000:localhost:3000 用户名@服务器地址 -p 端口

这样就可以在本机的浏览器打开 http://localhost:3000 访问到 webui 了

使用 webui

很简单,第一次打开会需要创建管理员账号

进入之后界面与 ChatGPT 有点相似

和 DeepSeek 模型对话,这个14b的模型就感觉效果已经不错了,如果完整版模型就更好,真的未来可期啊!

后记

据说 DeepSeek 的代码能力很强,可惜现在官网的 API 服务进不去。

下一篇文章我来试试拿本地部署的 DeepSeek 来写代码,看看效果如何。

参考资料

相关推荐
SEO_juper2 小时前
企业级 AI 工具选型报告:9 个技术平台的 ROI 对比与部署策略
人工智能·搜索引擎·百度·llm·工具·geo·数字营销
同志们4 小时前
LiteLLM Go: 多平台LLM客户端统一接口实现
llm·go
Q同学4 小时前
SciMaster:无需微调,在人类最后考试上刷新 SOTA
人工智能·llm·agent
聚客AI5 小时前
🚀深度解析Agentic RAG:如何突破模型的知识边界
人工智能·llm·掘金·日新计划
青Cheng序员石头8 小时前
【转译】Agentic AI 与 AI Agent:五大差异及其重要性
llm·aigc·agent
青Cheng序员石头9 小时前
Prompt Engineering vs Vibe Coding vs Context Engineering
langchain·llm·aigc
数据智能老司机9 小时前
构建由 LLM 驱动的 Neo4j 应用程序——使用 Neo4j 和 Haystack 实现强大搜索功能
langchain·llm·aigc
胡耀超9 小时前
我们如何写好提示词、发挥LLM能力、写作指南:从认知分析到动态构建的思维方法
人工智能·python·学习·大模型·llm·提示词·八要素思维
慧都小项1 天前
自动化UI测试工具TestComplete的AI双引擎:即时数据集 + 自愈测试
自动化测试·测试工具·llm·数据驱动测试·hipaa标准
AI大模型1 天前
大厂LLM应用岗上岸面经:面28家拿offer,拆解“必问考点+避坑指南”
程序员·llm·agent