私有化部署DeepSeek

linux中安装

1、安装ollama

进入网页:https://ollama.com/download/linux

复制如下链接

在linux中执行命令 curl -fsSL https://ollama.com/install.sh | sh 进行下载安装

如果下载过慢可以换加速器地址:虾壳 - GitHub下载加速网站 GitHub Proxy加速器

将地址粘贴到输入框:https://github.com/ollama/ollama/releases/latest/download/ollama-linux-amd64.tgz

更改执行命令:

bash 复制代码
export OLLAMA_MIRROR="https://gh.llkk.cc/https://github.com/ollama/ollama/releases/latest/download"
curl -fsSL https://ollama.com/install.sh | sed "s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh

ollama默认安装的模型路径为:/usr/share/ollama/.ollama/models

下载deepseek模型

进入网站选择需要的模型:https://ollama.com/library/deepseek-r1

在linux中执行命令 ollama pull deepseek-r1:1.5b

运行deepseek模型没有模型则自动下载

ollama run deepseek-r1:1.5b

docker中安装

拉取ollama镜像

bash 复制代码
sudo docker pull  swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama

运行镜像

bash 复制代码
 sudo docker run -d -v ollama:/ollama -p 11434:11434 --name ollama swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama

等待执行完成后,使用如下命令进入容器:确认容器状态

bash 复制代码
docker ps | grep ollama 
##进入容器
docker exec -it 容器ID /bin/bash

安装deepseek模型

bash 复制代码
  ollama run deepseek-r1:1.5b   

测试deepseek服务

部署open-webui(docker)

通过docker run命令在本地主机进行快速部署

bash 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v /usr/local/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

参数解释

docker run:用于创建并启动一个新的 Docker 容器。

-d:表示以后台模式运行容器,容器在后台运行,不会阻塞终端。

-p 3000:8080:将容器内的8080 端口映射到宿主机的 3000 端口。这意味着你可以通过访问宿主机的 3000 端口来访问容器内运行的应用(默认是 Open WebUI 的 Web 界面)。

--add-host=host.docker.internal:host-gateway:在容器的 /etc/hosts 文件中添加一个条目,将 host.docker.internal 映射到宿主机的网关地址。这通常用于在容器内部访问宿主机上的服务,确保容器能够与宿主机进行通信。

-v /usr/local/open-webui:/app/backend/data:将宿主机上的一个名为 /usr/local/open-webui 的卷(如果不存在则会自动创建)挂载到容器内的 /app/backend/data 目录。这用于持久化存储容器内的数据,例如模型文件、配置文件等,即使容器被删除,数据也不会丢失。

--name open-webui:为容器指定一个名称,这里是 open-webui。这样可以通过名称来管理容器,例如使用 docker stop open-webui 来停止容器。

--restart always:设置容器的重启策略为"始终重启"。这意味着无论容器因何种原因停止,Docker 都会自动重新启动它。

ghcr.io/open-webui/open-webui:main:指定要运行的 Docker 镜像。这里使用的是ghcr.io/open-webui/open-webui 镜像的 main 标签,表示从 GitHub Container Registry 获取最新的主分支版本。

部署效果验证

相关推荐
kfepiza11 分钟前
Debian的`/etc/network/interfaces`的`allow-hotplug`和`auto`对比讲解 笔记250704
linux·服务器·网络·笔记·debian
无妄-202423 分钟前
软件架构升级中的“隐形地雷”:版本选型与依赖链风险
java·服务器·网络·经验分享
艾伦_耶格宇34 分钟前
【docker】-1 docker简介
运维·docker·容器
R.X. NLOS38 分钟前
VS Code远程开发新方案:使用SFTP扩展解决Remote-SSH连接不稳定问题
运维·服务器·ssh·debug·vs code
cuijiecheng20181 小时前
Ubuntu下布署mediasoup-demo
linux·运维·ubuntu
独行soc3 小时前
2025年渗透测试面试题总结-2025年HW(护网面试) 33(题目+回答)
linux·科技·安全·网络安全·面试·职场和发展·护网
java龙王*3 小时前
开放端口,开通数据库连接权限,无法连接远程数据库 解决方案
linux
bcbobo21cn4 小时前
Linux命令的命令历史
linux·histsize·histfile
轩情吖4 小时前
Qt的第一个程序(2)
服务器·数据库·qt·qt creator·qlineedit·hello world·编辑框
jingyu飞鸟5 小时前
linux系统源代码安装apache、编译隐藏版本号
linux·运维·apache