Dify+Ollama私有化部署方案

Dify+Ollama私有化部署方案

环境准备

可以租赁云平台

步骤

部署Docker

更新软件包索引

sudo apt-get update

安装一些必要的软件包,以便apt能够通过HTTPS使用仓库:

sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

添加Docker的官方GPG密钥:这一步是为了确保你从Docker下载的软件是安全可靠的。

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

设置稳定的仓库:添加Docker的APT仓库到你的系统中。

sudo add-apt-repository "deb arch=amd64 https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

再次更新软件包索引:因为你刚添加了一个新的仓库,所以需要再次更新软件包索引。

sudo apt-get update

从新添加的仓库中安装Docker CE:现在你可以安装最新的Docker版本了。

sudo apt-get -y install docker-ce

验证Docker是否安装成功:

sudo docker --version

sudo systemctl status docker

安装Dify

新建一个目录,用于保存克隆到git代码

mkdir dify

cd dify

克隆 Dify 源代码至本地环境。

git clone https://github.com/langgenius/dify.git

启动 Dify

进入 Dify 源代码的 Docker 目录

cd dify/docker

复制环境配置文件

cp .env.example .env

选做 修改nginx访问端口(这个地方端口就是外网访问映射内网,需要设置映射过的内网端口,默认是80)

vi .env

修改EXPOSE_NGINX_PORT为虚拟机内部端口

EXPOSE_NGINX_PORT=8891

修改端口后重新加载配置文件并重启docker

systemctl daemon-reload

systemctl restart docker

启动 Docker 容器

通过 docker compose version 命令检查版本

使用国内镜像加速器

vim /etc/docker/daemon.json

末尾加入

"registry-mirrors": [

"https://docker.registry.cyou",

"https://docker-cf.registry.cyou",

"https://dockercf.jsdelivr.fyi",

"https://docker.jsdelivr.fyi",

"https://dockertest.jsdelivr.fyi",

"https://mirror.aliyuncs.com",

"https://dockerproxy.com",

"https://mirror.baidubce.com",

"https://docker.m.daocloud.io",

"https://docker.nju.edu.cn",

"https://docker.mirrors.sjtug.sjtu.edu.cn",

"https://docker.mirrors.ustc.edu.cn",

"https://mirror.iscas.ac.cn",

"https://docker.rainbond.cc"

]

sudo systemctl daemon-reload

sudo systemctl restart docker

如果版本是 Docker Compose V2,使用以下命令:

docker compose up -d

如果版本是 Docker Compose V1,使用以下命令:

docker-compose up -d

最后检查是否所有容器都正常运行:

docker compose ps

安装Ollama

安装 zstd 工具

根据你的系统类型,执行以下命令:

Debian/Ubuntu 系统(最常见):

sudo apt-get update

sudo apt-get install zstd -y

CentOS/RHEL/Fedora 系统:

sudo dnf install zstd -y

Arch Linux 系统:

sudo pacman -S zstd

cd /data/dify

执行如下命令进行Ollama安装,打开终端并执行命令。

curl -fsSL https://ollama.com/install.sh | sh

修改配置文件/etc/systemd/system/ollama.service,在service部分增加如下环境变量,以便其他服务可以直接访问ollama的api:(8891指的也是外网映射到内网的端口地址)

vim /etc/systemd/system/ollama.service

Environment="OLLAMA_HOST=0.0.0.0:8891"

启动ollama服务,并设置开机启动:

systemctl start ollama

systemctl enable ollama

修改配置文件,可以通过重启ollama生效

systemctl daemon-reload

systemctl restart ollama

验证:

systemctl status ollama

体验Dify

通过自己地址登录即可

在Dify中接入Ollama创建AI问答助手

在模型供应商 > Ollama

其中还有个地址,为自己私有部署的地址即可

OLLAMA_HOST=0.0.0.0:8891 ollama list

相关推荐
一起_java11 小时前
技术文章-基于Dify-Agent的智能问答系统设计与实现
java·spring boot·后端·agent·dify
goehou3 天前
两台 Mac 拼成推理池,加机器不加内存
mac·集群·ollama·本地推理
武雄(小星Ai)8 天前
Ollama报llama-server binary not found排坑实录:服务活着引擎没了
人工智能·windows·大模型·ollama·排坑
goehou9 天前
Ollama 的流式接口不是 SSE,客户端要改三处
sse·ollama·流式输出·客户端开发
n1121215 天前
Ollama 接 Open WebUI 中文界面:我踩的 4 个坑
云原生·eureka·ollama·本地大模型·open webui·私有部署·中文界面
Blockbuater_drug16 天前
Dify 1.18 本地部署实战:Windows + WSL2 + Docker,从零跑到本地可用
windows·docker·容器·dify·大模型应用平台
一枕槐安48716 天前
开源大模型 Llama3 本地部署全过程,Ollama 上手
开源·本地部署·大模型推理·ollama·llama3·modelfile
一木 之林18 天前
Dify学习笔记 03 · RAG检索增强生成:三代范式、评估与落地(第40-45、55-56集)
笔记·小程序·交互·dify
噜哥带你玩转 AI 大模型18 天前
从 “if-else“ 到 Agent:Dify 进阶实战,让 AI 自己判断、自己调工具
agent·工作流·dify·多轮对话·httpapi
一木 之林18 天前
Dify学习笔记 04 · 检索底座:Embedding、Rerank与向量数据库(第46-54集)
笔记·学习·embedding·dify