大模型笔记03--快速体验dify

大模型笔记03--快速体验dify

介绍

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。

dify平台用户体验好,配置简单,且内置了大量应用模板和工具,通过dify我们可以快速对接各种大模型,创建自己的知识库,按需选择工具构建形式多样的应用。除此之外,还能快速对接到第三方应用,将ai的能力赋能给其它场景和行业。

本文基于docker compose快速部署dify平台,对接ollama和阿里云千问大模型,并将生成的智能聊天机器人嵌入到业务网站中。

部署&测试

部署 dify

dify 官方提供了多种部署方式,我们直接用 docker compose的方式快速拉起服务

bash 复制代码
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env # 如果机器上有端口冲突,按需更改这个.env中的端口即可
docker compose up -d

部署成功后我们可以看到三个服务(api / worker / web) 和六个组件(weaviate / db / redis / nginx / ssrf_proxy / sandbox) 都正常运行,如下图:

初始界面,需要按需配置账号信息:

本地通过 http://localhost/install 配置,服务器直接通过 http://your_server_ip/install 配置即可.

登录界面 主界面

对比fastgpt,dify 已经内置了很多常见应用模板和通用工具:

通用模板 常用工具

测试dify

对接本地ollama大模型

需要在本地或者服务器上安装ollama,部署方式可以参考 大模型笔记01--基于ollama和open-webui快速部署chatgpt,并拉起相关模型,笔者已经提前下载好 qwen2:7b 和 nomic-embed-text:v1.5 两个模型。

对接ollama 添加qwen2:7b模型

添加成功后可以发现 Ollama下有2个可用模型,如下图

模型准备就绪后可以参考官方步骤按需创建应用了

创建应用:

通过 工作室->创建空白应用 来创建一个聊天助手

对聊天助手限制提示词、配置可用的模型,也可以按需加上下午、知识库等功能,配置完成后点发布即可

发布成功后就可以开始聊天之旅了:

对接阿里云千问大模型

dify可以通过多种方式对接本地大模型,也可以直接对接云厂商的大模型,例如 openai,阿里云,aws,azure 等厂商的大模型。

此处以阿里云的通义千问为例,我们需要在 阿里云百炼 -> apiKey -> 创建key, 然后在dify中设置该key即可

百炼创建key

dify 上配置通义千问的key

配置好后,我们基于模板创建一个旅游规划助手

创建后我们将默认的gpt-4更换为qwen-max模型,然后发布即可

注意: 这个agent应用了3个工具,大模型会理解我们的内容,然后调用api获取目标数据

进入应用初始界面, 输入基础信息,然后可以按需通过聊天获取目标旅游规划了

如下图, 当用户提出 "您好,我想去北京玩一周,帮我制定一份详细的攻略,需要推荐入住的酒店和知名景点,并给出交通路线"的需求后,机器人先搜索维基百科、然后搜索google,拿到目标数据后总结出5天的行程安排和攻略。

答案中包括酒店、景点和出行方式,比较符合预期。

在个人网站中嵌入dify智能客服

在 tooplate 模板网站下载一个 Gotto Job 的案例网站。

在聊天助手中选择发布->嵌入网站->选择嵌入网站的方式,选择后将脚本代码添加到html网页中,然后刷新网页即可在网页中使用dify提供的智能聊天助手了。

将脚本添加到代码中

打开网站主页,把上述代码粘贴到html中,重新刷新网页就多出了一个聊天的按钮,点击后即可正常聊天了,如下图我们已经把智能聊天助手对接到个人网站了。


至此,我们已经能把智能聊天机器人挂到自己的网站了。

注意事项

  1. dify工包含了很多工具,通过这种方式我们可以在自己的ai机器人具备很多种能力,实际使用的时候按需填写各个产品的key即可。
  2. dify可以对接很多种本地大模型,但良好的体验需要强大的机器资源来支持,因此如果没有足够的机器资源,推荐使用ai大模型厂商的服务即可(毕竟当前token已经相对比较便宜了).
  3. dify能快速将智能应用嵌入到网站中,从而快速实现网站智能客户。对于网站客服类机器人,我们可以对接各类表格,将用户的需求数据拆机出来存到各种表格中,方便内部人员基于收集的数据回访或者开展相关业务。

说明

  1. 系统
    ubuntu 24.04 Desktop
    dify 0.8.2
    ollama 0.3.9
  2. 参考文档
    dify 官方文档
    如何在几分钟内创建一个带有业务数据的官网 AI 智能客服
    从零开始之Dify部署篇
    主流ai知识库工具FastGPT、Dify、Coze横评
相关推荐
昨日之日20061 小时前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
浮生如梦_1 小时前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测
深度学习lover1 小时前
<项目代码>YOLOv8 苹果腐烂识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
热爱跑步的恒川2 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
阡之尘埃4 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
孙同学要努力6 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
Eric.Lee20216 小时前
yolo v5 开源项目
人工智能·yolo·目标检测·计算机视觉
其实吧37 小时前
基于Matlab的图像融合研究设计
人工智能·计算机视觉·matlab
丕羽7 小时前
【Pytorch】基本语法
人工智能·pytorch·python
ctrey_7 小时前
2024-11-1 学习人工智能的Day20 openCV(2)
人工智能·opencv·学习