知识库检索,rag

文章目录

简介

dify知识库检索

默认知识库配置

当使用dify的时候,发现可以通过文件等方式直接导入知识库,但是发现一个离奇的事情,就是导入的文档,直接搜素无法找到答案,查看文档后,发现文档被定义了一些关键字。

经过测试发现,只有按照关键字查找,才有办法找到知识库内容。

原来dify默认是采用经济类型,就是关键词检索(BM25)为主,0 token消耗,有点类似MySQL的精准命中。

比如李白的故人西辞黄鹤楼,烟花三月下扬州。孤帆远影碧空尽,唯见长江天际流。

导入后发现关键字是"西辞","黄鹤楼"等等,而李白并不是关键词。

另外更加无法通过语义的方式实现知识检索。

手动配置

最优是采用向量模型加rerank的方式,

然后设置top=5,score=0.3,第一个决定是否找到,第二个决定相似度

向量化加重排序

这个时候搜索"李白的诗",就能通过语义实现文档的搜索。

相关推荐
冲上云霄的Jayden2 小时前
RAG:文档与 TextSegment 的编码和更新:把“分块身份稳定性”设计对
chunk·rag·textsegment
wuxinyan1232 小时前
大模型学习之路010:RAG 零基础入门教程(第六篇):重排序技术
人工智能·学习·rag
程序员老邢5 小时前
【技术底稿 31】Milvus 2.5.14 实战避坑实录:字段缺失、行数不匹配、Metadata JSON 类型三连坑完整解法
milvus·向量数据库·rag·技术底稿·踩坑实录·37岁老码农
Mr_pyx6 小时前
RAG知识库从零到一:简单搭建教程(java版)
java·spring·ai·rag
冲上云霄的Jayden6 小时前
面向 FAQ、流程文档、规则文档的 RAG 处理方案
metadata·chunk·rag·语义搜索·向量化·faq·langchain4j
打小就很皮...15 小时前
基于 Python + LangChain + RAG 的知识检索系统实战
前端·langchain·embedding·rag
IPHWT 零软网络1 天前
AI Agent知识库功能解析:多源接入、动态更新与智能检索的技术价值
人工智能·科技·知识库
wuxinyan1231 天前
大模型学习之路009:问题解决-RAG 知识库系统能上传文档,但检索不到内容
人工智能·学习·rag
wuxinyan1231 天前
大模型学习之路008:RAG 零基础入门教程(第五篇):完整 Naive RAG 系统搭建与评估
人工智能·学习·rag
快跑bug来啦1 天前
RAGFlow部署教程:Ubuntu24.04
ai·大模型·知识图谱·知识库·rag