Deepseek存算分离安全部署手册

Deepseek大火后,很多文章教大家部署Dfiy和ollama+deepseek,但是大部分都忽略了数据安全问题,本文重点介绍Deepseek存算分裂安全架设,GPU云主机只负责计算、CPU本地主机负责数据存储,确保数据不上云,保证私有数据。

一、首先请看安全风险问题

登陆https://fofa.info/ 输入 ollama 你会发现一堆的ollama GPU算力服务器可以"白嫖"

你重金租用的服务器在被别人免费调用时候,导致你的token不足时,你是否会心痛,甚至你是否担心知识库信息被下载。所以本文建议大家采用存算分离方式来部署Deepseek

二、存算部署策略

(一)网络架构图

(二)GPU云主机仅运行计算

1、GPu主机找云服务商购买,本文用的是天翼云的deepseep预装版

具体手册详见官网手册

通过应用市场部署和使用专属的DeepSeek服务-算力互联调度平台-最佳实践 - 天翼云

2、ssh登陆GPU主机可以看到deepseek r1:7b预装好了

ollama list

增加下载一个向量模型**,这个很重要,后续dify精确查询知识库需要**

ollama pull bge-m3

3、将默认的web-ui的docker停掉

查看镜像 docker image ls

删除镜像

4、设置安全组,设置仅允许IP为客户dify-CPU主机访问GPU主机11434端口,其他主机都不能访问11434端口

5、修改ollam的配置

vi /etc/systemd/system/ollama.service

增加 Environment="OLLAMA_HOST=0.0.0.0:11434"

(三)、企业内部cpu主机跑知识库,运行在企业DMA区域,运行docker+dify

1、安装优版图版22.04 (其他版本也行)

lsb_release -a

2、将下载好的 dify-main.tar.gz 上传CPU主机并解压

tar -xzvf dify-main.tar.gz

3、设置Docker的apt仓库

在新主机上首次安装Docker Engine之前,需要先为Docker设置apt仓库,以便可以从仓库中安装和更新Docker。

Add Docker's official GPG key:

sudo apt-get update

sudo apt-get install ca-certificates curl

sudo install -m 0755 -d /etc/apt/keyrings

这一句没有魔法在国内可能会报错,可以将链接换成清华镜像源,如:

sudo curl -fsSL https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc

sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc

sudo chmod a+r /etc/apt/keyrings/docker.asc

Add the repository to Apt sources:

echo \

"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \

(. /etc/os-release \&\& echo "VERSION_CODENAME") stable" | \

sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update

4.安装Docker

在Ubuntu中运行以下命令即可安装最新版Docker:

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

docker ps -ef

docker compse version

确认docker 安装正常了

5、配置镜像源

镜像站可能随时失效,失效后需编辑配置文件更换。以下提供的镜像链接收集自网络,时间截止至2024年11月

创建目录

sudo mkdir -p /etc/docker

写入配置文件

sudo tee /etc/docker/daemon.json <<-'EOF'

{

"registry-mirrors": [

"https://docker.1panel.dev",

"https://docker.foreverlink.love",

"https://dytt.online",

"https://func.ink",

"https://lispy.org",

"https://docker.xiaogenban1993.com",

"https://docker.潍坊会展.cn",

"https://docker.zhai.cm",

"https://docker.5z5f.com",

"https://a.ussh.net",

"https://docker.cloudlayer.icu",

"https://docker.linkedbus.com",

"https://docker.m.daocloud.io"

]

}

EOF

重新加载守护进程

sudo systemctl daemon-reload

重启 docker 服务

sudo systemctl restart docker

6、cd /dify/docker 自行 docker compose up

7.成功运行

设置模型IP地址为GPU主机地址,增加deepseek r1:7b模型,增加 bge-m3向量模型

三、安全的将知识库数据传到本地CPU主机了

相关推荐
WSSWWWSSW10 分钟前
华为昇腾NPU卡 文生视频[T2V]大模型WAN2.1模型推理使用
人工智能·大模型·音视频·显卡·文生视频·文生音频·文生音乐
数据要素X17 分钟前
【数据架构10】数字政府架构篇
大数据·运维·数据库·人工智能·架构
Ronin-Lotus30 分钟前
深度学习篇---PaddleDetection模型选择
人工智能·深度学习
qq_40999093?37 分钟前
安全和AI方向的学习路线
人工智能·安全
Blossom.11839 分钟前
基于深度学习的医学图像分析:使用CycleGAN实现图像到图像的转换
人工智能·深度学习·目标检测·机器学习·分类·数据挖掘·语音识别
沐沐沐沐沐沐1 小时前
图像认知与OpenCV | Day5:图像预处理(4)
人工智能·opencv·计算机视觉
一水鉴天1 小时前
关于“PromptPilot” 之3 -Prompt构造器核心专项能力:任务调度
人工智能
陈敬雷-充电了么-CEO兼CTO1 小时前
强化学习三巨头PK:PPO、GRPO、DPO谁是大模型训练的「王炸」?
人工智能·python·机器学习·chatgpt·aigc·ppo·grpo
Wendy14411 小时前
【图像噪点消除】——图像预处理(OpenCV)
人工智能·opencv·计算机视觉
大江东去浪淘尽千古风流人物1 小时前
【prompt】Lyra 提示词深度研究
人工智能·prompt