知识库检索,rag

文章目录

简介

dify知识库检索

默认知识库配置

当使用dify的时候,发现可以通过文件等方式直接导入知识库,但是发现一个离奇的事情,就是导入的文档,直接搜素无法找到答案,查看文档后,发现文档被定义了一些关键字。

经过测试发现,只有按照关键字查找,才有办法找到知识库内容。

原来dify默认是采用经济类型,就是关键词检索(BM25)为主,0 token消耗,有点类似MySQL的精准命中。

比如李白的故人西辞黄鹤楼,烟花三月下扬州。孤帆远影碧空尽,唯见长江天际流。

导入后发现关键字是"西辞","黄鹤楼"等等,而李白并不是关键词。

另外更加无法通过语义的方式实现知识检索。

手动配置

最优是采用向量模型加rerank的方式,

然后设置top=5,score=0.3,第一个决定是否找到,第二个决定相似度

向量化加重排序

这个时候搜索"李白的诗",就能通过语义实现文档的搜索。

相关推荐
XLYcmy14 小时前
Dify 本地部署、Ollama 与 Xinference 集成:踩坑与最佳实践指南
llm·agent·dify·rag·ollama·rerank·harness
小范的技术工坊19 小时前
RAG切片策略
大模型·rag
正经教主1 天前
【FDE系列】阶段3:Day 72:RAGFlow 平台 — 端到端知识库
人工智能·rag·fde
小范的技术工坊1 天前
RAG系统答不准的常见问题
大模型·rag
正经教主1 天前
【FDE系列】阶段3:Day 71:高级检索 — 查询改写与 HyDE
人工智能·rag·fde
光依旧2 天前
PageIndex没翻车,翻车的是我的解析器
docker·langchain·大模型·向量数据库·pdf解析·rag·pageindex
Web3&Basketball2 天前
LlamaIndex+BGE 重排:RAG 从噪声到可信
人工智能·大模型·rag
Yuzhiyuxia2 天前
【RAG面试系列】工程落地
llm·rag
森山冶仁2 天前
向量索引也要治理:RAG 系统里“原始数据已作废、向量仍可检索”怎么解
数据治理·向量数据库·数据质量·元数据·rag
正经教主2 天前
【FDE系列】阶段3:Day 65:向量数据库入门 — Chroma 与本周收官
人工智能·rag·fde