搭建个人AI知识库-DIFY

前提

本地目前没有显卡,只能用cpu刚。

如果不想自己搭建本地模型,完全可以掏钱使用现成的API即可。

需要了解一些docker知识

搭建本地模型

环境

os: archlinux

内存: 32g

cpu: 6核12线程

docker: 27.3.1

docker-compose: 2.32.4

ollama

复制代码
pacman -S ollama

systemctl start ollama.service

 # 通过下述url判断ollama是否安装成功
http://127.0.0.1:11434/

LLM模型 (qwen2:1.5b)

下载

复制代码
ollama pull qwen2:1.5b

启动

复制代码
ollama run qwen2:1.5b

测试

复制代码
ollama run qwen2:1.5b
>>> who are you?
I am an AI language model, designed to answer questions and provide information on various topics. How can I assist you today?

>>> Send a message (/? for help)

Text Embedding模型 (m3e)

下载

复制代码
ollama pull milkey/m3e

embedding模型不需要run, ollama服务启动可直接使用

测试

复制代码
curl http://127.0.0.1:11434/api/embed -d '{
  "model": "milkey/m3e",
  "input": "balabalabala"
}' | jq .

查看模型运行情况

复制代码
ollama ps

NAME                        ID              SIZE      PROCESSOR    UNTIL    
qwen2:1.5b                  f6daf2b25194    1.5 GB    100% CPU     4 minutes from now
milkey/m3e:latest           1477f12451b0    860 MB    100% CPU     4 minutes from now

构建知识库(ollama+DIFY)

下载启动dify

参考官方文档,so easy!

https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

本地采用的是 #systemd方式* 部署。这里一定要注意,不同的部署方式网络配置有点区别,比如systemd的方式服务启动需要增加环境变量OLLAMA_HOST,而对于docker启动方式,可以参考官方文档(暂未测试)

添加模型

这里我们需要两个模型,一个LLM,一个Text Embedding

qwen2:1.5b模型添加

模型名称:qwen2:1.5b(必须完整填写)

基础 URL:http:// :11434 (这里的ip要是你本地ip,不能用localhost,127这些。本地是http://10.10.15.159:11434)

模型类型:对话

模型上下文长度:4096 (模型的最大上下文长度,若不清楚可填写默认值 4096)

最大 token 上限:4096 (模型返回内容的最大 token 数量,若模型无特别说明,则可与模型上下文长度保持一致)

是否支持 Vision:是

保存即可使用

milkey/m3e:latest

模型名称:milkey/m3e:latest (同上)

基础 URL:http:// :11434 (这里的ip要是你本地ip,不能用localhost,127这些。本地是http://10.10.15.159:11434)

模型上下文长度:4096

保存即可使用

访问测试

创建知识库

导入数据 --> 设置分段 -->设置索引及检索

对于word这种格式化的数据,分段模式最好使用 #父子模式* ; 索引方式使用高质量模式,使用上述m3e模型来生成索引数据。

创建聊天助手

知识库是没法直接去使用的,顶多能做个召回测试。这里我们创建一个聊天助手,可以关联知识库,这样能真正使用。

聊天助手创建很简单,可以选择顶部工作室 -> 创建空白应用

选择已经创建好的知识库

应用发布即可

直接通过dify使用

dify默认启动使用的是80端口,可以直接通过http://localhost 访问(首次使用需要注册用户密码)。 然后选择探索,选择我们刚刚创建的聊天助手就可以开始愉快的聊天了。

将dify嵌入到自己的应用中

可以通过api、iframe之类的方式将自己搭建的聊天助手嵌入到系统中(需要有开发能力,很简单)。

知识库工作流

问题处理

dify访问时提示11434拒绝

http://10.10.15.159:11434/ 请求失败

处理

检查服务启动正常,需要在service中增加环境变量 Environment="OLLAMA_HOST=0.0.0.0:11434"

复制代码
sudo vim /usr/lib/systemd/system/ollama.service
systemctl daemon-reload
systemctl restart ollama.service

其它系统类似,就是让服务启动读取到该变量即可

Reached maximum retries (3) for URL http://localhost:8090/api/system/ext/examples/echo

分析处理

添加工具后,访问本地接口提示上述错误, 其实还是ip的问题,这里使用本地ip,如10.10.15.159。因为dify部署在容器中,localhost有特殊意义

相关推荐
即兴小索奇4 小时前
CodePerfAI体验:AI代码性能分析工具如何高效排查性能瓶颈、优化SQL执行耗时?
ai·商业·ai商业洞察·即兴小索奇
即兴小索奇6 小时前
Codeium:免费开源代码自动补全工具,高效管理代码片段告别开发卡壳
ai·商业·ai商业洞察·即兴小索奇
我没想到原来他们都是一堆坏人6 小时前
通过Gen AI SDK调用gemini 2.5 pro,单独上传pdf文件 | ai agent 开发笔记 2025.9.2 Day 2
ai·google·pdf·sdk·gemini
ITZHIHONH6 小时前
FastGPT源码解析 工作流、知识库、大模型、Agent等核心代码文件梳理
ai·ai编程
API流转日记6 小时前
Gemini-2.5-Flash-Image-Preview 与 GPT-4o 图像生成能力技术差异解析
人工智能·gpt·ai·chatgpt·ai作画·googlecloud
程序员鱼皮7 小时前
扒了下 Cursor 的提示词,被狠狠惊艳到了!
计算机·ai·程序员·大模型·互联网·编程
CoderJia程序员甲11 小时前
GitHub 热榜项目 - 日榜(2025-09-07)
ai·github·开源项目·github热榜
即兴小索奇12 小时前
Recharts:React图表库,组件化设计助力高效数据可视化开发
ai·商业·ai商业洞察·即兴小索奇
lvcoc1 天前
unity 接入火山引擎API,包括即梦AI
windows·unity·ai·火山引擎
CoderJia程序员甲1 天前
GitHub 热榜项目 - 日榜(2025-09-06)
ai·开源·github·ai编程·github热榜