知识库检索,rag

文章目录

简介

dify知识库检索

默认知识库配置

当使用dify的时候,发现可以通过文件等方式直接导入知识库,但是发现一个离奇的事情,就是导入的文档,直接搜素无法找到答案,查看文档后,发现文档被定义了一些关键字。

经过测试发现,只有按照关键字查找,才有办法找到知识库内容。

原来dify默认是采用经济类型,就是关键词检索(BM25)为主,0 token消耗,有点类似MySQL的精准命中。

比如李白的故人西辞黄鹤楼,烟花三月下扬州。孤帆远影碧空尽,唯见长江天际流。

导入后发现关键字是"西辞","黄鹤楼"等等,而李白并不是关键词。

另外更加无法通过语义的方式实现知识检索。

手动配置

最优是采用向量模型加rerank的方式,

然后设置top=5,score=0.3,第一个决定是否找到,第二个决定相似度

向量化加重排序

这个时候搜索"李白的诗",就能通过语义实现文档的搜索。

相关推荐
张彦峰ZYF6 小时前
检索增强生成(RAG)系统的基础:全面深入矢量数据库
数据库·大模型·rag
格桑阿sir8 小时前
10-大模型智能体开发工程师:RAG检索增强生成
ai·大模型·llm·embedding·agent·检索增强·rag
qcx2311 小时前
【系统学AI】15 RAG评测体系:RAGAS四维+TruLens+ARES全套方案
人工智能·rag·评测
caicongyang12 小时前
LLM Wiki 深度解读与接入指南
rag·llmwiki
53AI1 天前
获客团队智能线索管理:从混乱到精准狙击
知识库·ai落地·线索管理·线索智能分配
Mr.Daozhi1 天前
RAG 进阶实战:跑通 Demo 后我连续翻了 6 次车,逐一修复才真正可用(含 Gradio Web 版)
前端·数据库·langchain·大模型·gradio·rag·科研工具
Mr. zhihao2 天前
BM25 混合检索详解:为什么向量检索不够,还要加一个关键词检索
python·rag·bm25
虾..2 天前
大模型认识
人工智能·llm·rag
清 澜2 天前
基于 LangChain 从零搭建知识库问答系统
人工智能·职场和发展·大模型·agent·知识库
亦暖筑序2 天前
GraphRAG vs 传统向量RAG:Spring AI实战对比
知识图谱·neo4j·向量数据库·rag·spring ai·graphrag