知识库检索,rag

文章目录

简介

dify知识库检索

默认知识库配置

当使用dify的时候,发现可以通过文件等方式直接导入知识库,但是发现一个离奇的事情,就是导入的文档,直接搜素无法找到答案,查看文档后,发现文档被定义了一些关键字。

经过测试发现,只有按照关键字查找,才有办法找到知识库内容。

原来dify默认是采用经济类型,就是关键词检索(BM25)为主,0 token消耗,有点类似MySQL的精准命中。

比如李白的故人西辞黄鹤楼,烟花三月下扬州。孤帆远影碧空尽,唯见长江天际流。

导入后发现关键字是"西辞","黄鹤楼"等等,而李白并不是关键词。

另外更加无法通过语义的方式实现知识检索。

手动配置

最优是采用向量模型加rerank的方式,

然后设置top=5,score=0.3,第一个决定是否找到,第二个决定相似度

向量化加重排序

这个时候搜索"李白的诗",就能通过语义实现文档的搜索。

相关推荐
念念不忘 必有回响1 天前
RAG 入门第三课:给你的知识库装上大脑(基于LangChain与Qwen3.5的本地RAG系统搭建)
langchain·rag
庄小焱2 天前
【AI模型】——RAG技术简介与实战示例
大模型·rag·ai模型·ai系统·ai算法
SunnyRivers2 天前
高级 RAG 技术教程
大模型·rag·高级
JD技术委员会2 天前
企业知识库选型指南:Confluence、PingCode等7款主流产品对比
知识库
正在走向自律2 天前
从0到1构建企业级RAG系统:基于LangChain+向量数据库的完整实战
langchain·向量数据库·rag·企业级架构
Flying pigs~~2 天前
从零到一构建企业级 RAG 问答系统:一个完整的模块化实践指南
数据库·人工智能·缓存·大模型·milvus·知识库·rag
53AI2 天前
数字政务新基建:政务服务智能审批全流程升级
人工智能·知识库·政务·智能审批
Flying pigs~~2 天前
RAG 项目完整学习笔记与总结
agent·milvus·rag·智能体·检索增强生成
Flying pigs~~2 天前
企业级模块化RAG项目(mysql➕redis➕milvus➕模型微调➕bm25➕fastapi➕ollama➕Prompt➕多策略选择)
人工智能·redis·mysql·docker·prompt·milvus·rag