知识库检索,rag

文章目录

简介

dify知识库检索

默认知识库配置

当使用dify的时候,发现可以通过文件等方式直接导入知识库,但是发现一个离奇的事情,就是导入的文档,直接搜素无法找到答案,查看文档后,发现文档被定义了一些关键字。

经过测试发现,只有按照关键字查找,才有办法找到知识库内容。

原来dify默认是采用经济类型,就是关键词检索(BM25)为主,0 token消耗,有点类似MySQL的精准命中。

比如李白的故人西辞黄鹤楼,烟花三月下扬州。孤帆远影碧空尽,唯见长江天际流。

导入后发现关键字是"西辞","黄鹤楼"等等,而李白并不是关键词。

另外更加无法通过语义的方式实现知识检索。

手动配置

最优是采用向量模型加rerank的方式,

然后设置top=5,score=0.3,第一个决定是否找到,第二个决定相似度

向量化加重排序

这个时候搜索"李白的诗",就能通过语义实现文档的搜索。

相关推荐
夏文强18 小时前
Rerank 与混合检索:怎么让 RAG 从「能用」变成「好用」
人工智能·大模型·向量数据库·rag·检索增强生成
惊讶的猫21 小时前
Query 改写
java·rag
code2cat1 天前
【随笔】RAG检索缓存:复用证据之前,先把权限和版本放进缓存键
java·人工智能·缓存·知识库·rag
小易老师AI实战1 天前
MCP服务快速实现智能体/RAG项目的插拔功能
agent·rag·mcp·fastmcp·大模型工具调用·streamable‑http
@嵌入式扫地僧1 天前
实战教程:NVIDIA Jetson Nano 8GB 搭建本地 RAG 大语言模型知识库完整指南
人工智能·ai·jetson nano·1024程序员节·rag
8486981191 天前
RAGFlow v1.0 企业级 RAG 落地实录:从零部署到 RAGAS 评估闭环(全踩坑记录)
人工智能·大模型·rag·ragflow·ragas
Sunday_ding1 天前
四种AI知识管理架构全面对比与务实选型
人工智能·ai·rag·llamaindex·pageindex
garmin Chen1 天前
Rag引入
python·agent·rag
4SAPI2 天前
企业级文档智能处理大模型 API 架构选型指南:4SAPI、硅基流动与 OpenRouter 的工程权衡
人工智能·gateway·agent·1024程序员节·rag
救救孩子把2 天前
RAG 还是 Fine-Tuning?从语义切分、QLoRA 到安全防护的企业级 LLM 优化实战
安全·llm·rag·fine-tuning·qlora