私有化部署DeepSeek

linux中安装

1、安装ollama

进入网页:https://ollama.com/download/linux

复制如下链接

在linux中执行命令 curl -fsSL https://ollama.com/install.sh | sh 进行下载安装

如果下载过慢可以换加速器地址:虾壳 - GitHub下载加速网站 GitHub Proxy加速器

将地址粘贴到输入框:https://github.com/ollama/ollama/releases/latest/download/ollama-linux-amd64.tgz

更改执行命令:

bash 复制代码
export OLLAMA_MIRROR="https://gh.llkk.cc/https://github.com/ollama/ollama/releases/latest/download"
curl -fsSL https://ollama.com/install.sh | sed "s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh

ollama默认安装的模型路径为:/usr/share/ollama/.ollama/models

下载deepseek模型

进入网站选择需要的模型:https://ollama.com/library/deepseek-r1

在linux中执行命令 ollama pull deepseek-r1:1.5b

运行deepseek模型没有模型则自动下载

ollama run deepseek-r1:1.5b

docker中安装

拉取ollama镜像

bash 复制代码
sudo docker pull  swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama

运行镜像

bash 复制代码
 sudo docker run -d -v ollama:/ollama -p 11434:11434 --name ollama swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama

等待执行完成后,使用如下命令进入容器:确认容器状态

bash 复制代码
docker ps | grep ollama 
##进入容器
docker exec -it 容器ID /bin/bash

安装deepseek模型

bash 复制代码
  ollama run deepseek-r1:1.5b   

测试deepseek服务

部署open-webui(docker)

通过docker run命令在本地主机进行快速部署

bash 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v /usr/local/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

参数解释

docker run:用于创建并启动一个新的 Docker 容器。

-d:表示以后台模式运行容器,容器在后台运行,不会阻塞终端。

-p 3000:8080:将容器内的8080 端口映射到宿主机的 3000 端口。这意味着你可以通过访问宿主机的 3000 端口来访问容器内运行的应用(默认是 Open WebUI 的 Web 界面)。

--add-host=host.docker.internal:host-gateway:在容器的 /etc/hosts 文件中添加一个条目,将 host.docker.internal 映射到宿主机的网关地址。这通常用于在容器内部访问宿主机上的服务,确保容器能够与宿主机进行通信。

-v /usr/local/open-webui:/app/backend/data:将宿主机上的一个名为 /usr/local/open-webui 的卷(如果不存在则会自动创建)挂载到容器内的 /app/backend/data 目录。这用于持久化存储容器内的数据,例如模型文件、配置文件等,即使容器被删除,数据也不会丢失。

--name open-webui:为容器指定一个名称,这里是 open-webui。这样可以通过名称来管理容器,例如使用 docker stop open-webui 来停止容器。

--restart always:设置容器的重启策略为"始终重启"。这意味着无论容器因何种原因停止,Docker 都会自动重新启动它。

ghcr.io/open-webui/open-webui:main:指定要运行的 Docker 镜像。这里使用的是ghcr.io/open-webui/open-webui 镜像的 main 标签,表示从 GitHub Container Registry 获取最新的主分支版本。

部署效果验证

相关推荐
谙弆悕博士1 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
戊本菌1 小时前
进程(三)进程优先级:谁先上 CPU
linux·c语言·硬件架构
aningx2 小时前
Arch 系用 greetd 实现开机自动进 Plasma Wayland,注销自动回桌面
linux
张小姐的猫3 小时前
【基于 WebSocket 的多用户网页五子棋】—— 整合封装服务器模块设计实现2️⃣
服务器·websocket·网络协议
江无行者3 小时前
Linux 服务器 top 命令详解
linux
HMS工业网络3 小时前
工业远程访问的五项安全部署原则
运维·服务器·安全
吴建旭 智宅焕4 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
嵌入式 Linux手记5 小时前
一块内存,三种解释:union 的真实用法
linux·c语言·驱动开发·嵌入式
星恒随风5 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
草莓熊Lotso6 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构