最近在学习安装 Dify 并集成 Ollama 和 Xinference，学习过程中遇到很多问题，所以我都记录下来。
本人电脑环境：MacBook Pro 15.1系统
基本是基于B站教程一步步搭建: 【Dify快速入门 | 本地部署Dify基于Llama 3.1和OpenAI创建聊天机器人与知识库-哔哩哔哩】 https://b23.tv/NSbe6LA
也可以结合 https://blog.csdn.net/m0_59614665/article/details/142705485 这个进行学习
接下来开始搭建(docker搭建):
一 、电脑准备好docker desktop(最新的docker软件对mac系统要求比较高)
二、开始搭建dify的环境
-
下载dify代码到本地：https://github.com/langgenius/dify.git
-
进入下载代码的docker路劲: /Users/apple/Desktop/Study/dify/docker
-
在当前文件夹打开终端运行: docker compose up -d
这个命令实在下载dify所需要的包/容器
在这里可能会出现下载不下来的情况，打开docker desktop面板--设置--docker engine
加入以下的镜像加速器:
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://noohub.ru",
"https://huecker.io",
"https://dockerhub.timeweb.cloud",
"https://docker.rainbond.cc"
]慢慢等待下载成功:
这样dify可以访问了: http://localhost/signin
进去注册自己的账号信息,然后登陆
- 下载ollama app
进入ollama官网:
如何拥有自己私有化部署的大模型？Mac下部署Ollama并使用llama3.1模型的方法详解_mac llamaindex ollama-CSDN博客
下载ollama app
进入终端使用命令选择自己要下载的ollama版本,我使用的是ollama3.1,命令: ollama run llama3.1
这一步下载的时候很慢,但是大家可以把梯子挂着就很快
- dify里面配置对话和知识库,大家就自己根据视频或者文章学习吧