搭建个人AI知识库-DIFY

前提

本地目前没有显卡,只能用cpu刚。

如果不想自己搭建本地模型,完全可以掏钱使用现成的API即可。

需要了解一些docker知识

搭建本地模型

环境

os: archlinux

内存: 32g

cpu: 6核12线程

docker: 27.3.1

docker-compose: 2.32.4

ollama

复制代码
pacman -S ollama

systemctl start ollama.service

 # 通过下述url判断ollama是否安装成功
http://127.0.0.1:11434/

LLM模型 (qwen2:1.5b)

下载

复制代码
ollama pull qwen2:1.5b

启动

复制代码
ollama run qwen2:1.5b

测试

复制代码
ollama run qwen2:1.5b
>>> who are you?
I am an AI language model, designed to answer questions and provide information on various topics. How can I assist you today?

>>> Send a message (/? for help)

Text Embedding模型 (m3e)

下载

复制代码
ollama pull milkey/m3e

embedding模型不需要run, ollama服务启动可直接使用

测试

复制代码
curl http://127.0.0.1:11434/api/embed -d '{
  "model": "milkey/m3e",
  "input": "balabalabala"
}' | jq .

查看模型运行情况

复制代码
ollama ps

NAME                        ID              SIZE      PROCESSOR    UNTIL    
qwen2:1.5b                  f6daf2b25194    1.5 GB    100% CPU     4 minutes from now
milkey/m3e:latest           1477f12451b0    860 MB    100% CPU     4 minutes from now

构建知识库(ollama+DIFY)

下载启动dify

参考官方文档,so easy!

https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

本地采用的是 #systemd方式* 部署。这里一定要注意,不同的部署方式网络配置有点区别,比如systemd的方式服务启动需要增加环境变量OLLAMA_HOST,而对于docker启动方式,可以参考官方文档(暂未测试)

添加模型

这里我们需要两个模型,一个LLM,一个Text Embedding

qwen2:1.5b模型添加

模型名称:qwen2:1.5b(必须完整填写)

基础 URL:http:// :11434 (这里的ip要是你本地ip,不能用localhost,127这些。本地是http://10.10.15.159:11434)

模型类型:对话

模型上下文长度:4096 (模型的最大上下文长度,若不清楚可填写默认值 4096)

最大 token 上限:4096 (模型返回内容的最大 token 数量,若模型无特别说明,则可与模型上下文长度保持一致)

是否支持 Vision:是

保存即可使用

milkey/m3e:latest

模型名称:milkey/m3e:latest (同上)

基础 URL:http:// :11434 (这里的ip要是你本地ip,不能用localhost,127这些。本地是http://10.10.15.159:11434)

模型上下文长度:4096

保存即可使用

访问测试

创建知识库

导入数据 --> 设置分段 -->设置索引及检索

对于word这种格式化的数据,分段模式最好使用 #父子模式* ; 索引方式使用高质量模式,使用上述m3e模型来生成索引数据。

创建聊天助手

知识库是没法直接去使用的,顶多能做个召回测试。这里我们创建一个聊天助手,可以关联知识库,这样能真正使用。

聊天助手创建很简单,可以选择顶部工作室 -> 创建空白应用

选择已经创建好的知识库

应用发布即可

直接通过dify使用

dify默认启动使用的是80端口,可以直接通过http://localhost 访问(首次使用需要注册用户密码)。 然后选择探索,选择我们刚刚创建的聊天助手就可以开始愉快的聊天了。

将dify嵌入到自己的应用中

可以通过api、iframe之类的方式将自己搭建的聊天助手嵌入到系统中(需要有开发能力,很简单)。

知识库工作流

问题处理

dify访问时提示11434拒绝

http://10.10.15.159:11434/ 请求失败

处理

检查服务启动正常,需要在service中增加环境变量 Environment="OLLAMA_HOST=0.0.0.0:11434"

复制代码
sudo vim /usr/lib/systemd/system/ollama.service
systemctl daemon-reload
systemctl restart ollama.service

其它系统类似,就是让服务启动读取到该变量即可

Reached maximum retries (3) for URL http://localhost:8090/api/system/ext/examples/echo

分析处理

添加工具后,访问本地接口提示上述错误, 其实还是ip的问题,这里使用本地ip,如10.10.15.159。因为dify部署在容器中,localhost有特殊意义

相关推荐
九河云5 分钟前
从 “制造” 到 “智造”:中国制造业数字化转型的突围之路
科技·ai·制造·数字化转型·传统
yeshan33330 分钟前
使用 Claude Code 的自定义 Sub Agent 完善博文写作体验
ai·github·agent·claudecode
戴维-davy31 分钟前
什么?智能体生成智能体?自我进化?
ai·agent·智能体
守城小轩5 小时前
从零开始学习Dify-数据库数据可视化(五)
ai·ai客服·ai浏览器
YXWik614 小时前
Linux(centos7)安装 docker + ollama+ deepseek-r1:7b + Open WebUI(内含一键安装脚本)
linux·docker·ai
charlee4419 小时前
行业思考:不是前端不行,是只会前端不行
前端·ai
豌豆花下猫21 小时前
Python 潮流周刊#112:欢迎 AI 时代的编程新人
后端·python·ai
鹿先森AI探索之路1 天前
本地部署Dify教程
人工智能·docker·ai
连合机器人1 天前
酷暑来袭,科技如何让城市清凉又洁净?
人工智能·ai·有鹿机器人·连合直租·智能清洁专家
努力一点9481 天前
linux系统底层逻辑 开机顺序 ubuntu22.04系统
linux·运维·服务器·ubuntu·ai·gpu算力