大模型部署基础设施搭建 - Dify

文章目录

• [一、下载项目（zip包上传或git clone）](#一、下载项目（zip包上传或git clone）)
• 二、执行下述命令
• 三、访问管理员初始化页面以设置管理员账户
• 四、使用
• 五、整合Vllm
• • [5.1 安装vllm模型供应商](#5.1 安装vllm模型供应商)
  • [5.2 配置](#5.2 配置)

官方参考文档：https://github.com/langgenius/dify#

一、下载项目（zip包上传或git clone）

二、执行下述命令

cd dify
cd docker
cp .env.example .env
docker compose up -d

三、访问管理员初始化页面以设置管理员账户

http://<服务器ip地址>/install

admin@dfzt.com
admin
admin123456

四、使用

http://<服务器ip地址>

五、整合Vllm

5.1 安装vllm模型供应商

点击右上角头像，点击设置，点击模型供应商，找到vllm，点击安装

5.2 配置

（1）模型名称

必须和docker-compose.yml文件中的served-model-name保持一致

（2）地址

http://<ip>:8001/v1