RAG Day05 混合检索

上周学习了索引构建,本周开始学习检索相关。

索引是建立向量数据库时为这个信息提供一个标识,这种标识一般比较短,并且包含这块信息的主干内容,为将来快速检索打下了基础。

检索是希望更快的匹配问题语义和向量数据库的语义,那么语义如何与向量数据库对应也是快速检索的前提条件之一。

语义在向量化的过程中大致分为两类:稀疏向量和密集向量。

稀疏向量指的就是TF-IDF相关技术。他通过一个公式精确的将词频和词对应了起来,给更高的词频分配了更稀疏的向量编码,这个技术的好处是可以精确检索对应相关词条,整个过程具有强的可解释性和更高的效率,缺点是直接忽略未登录词。

密集向量在单词和向量映射之间采用了深度学习模型,从语义本位的角度出发理论上来说,相似语义的向量距离会更近,不相似语义的向量距离会更远。他的优点是通过深度学习的理论无限接近了语义这个理想点,缺点是可解释性差,并且需要大数据和算力。

所谓混合检索就是稀疏检索和密集检索的加权。

利用二者的优势,更加理想化的接近了真实语义。

(代码设计了milvus,很难看懂,脑壳疼。)

学习内容来自Datawhale

还是很感谢开源精神,能写出这么一份高质量的教程也很不容易~

all-in-rag/docs/chapter4/11_hybrid_search.md at main · datawhalechina/all-in-rag · GitHub

相关推荐
白兰地空瓶13 分钟前
别再只会调 API 了!LangChain.js 才是前端 AI 工程化的真正起点
前端·langchain
FreeCode2 小时前
一文带你了解LangChain数据容器及其使用
langchain·agent·ai编程
over6973 小时前
《闭包、RAG与AI面试官:一个前端程序员的奇幻LangChain之旅》
前端·面试·langchain
樊小肆5 小时前
ollmam+langchain.js实现本地大模型简单记忆对话-PostgreSQL版
前端·langchain·aigc
风送雨5 小时前
多模态RAG工程开发教程(上)
python·langchain
lusasky6 小时前
基于 LangChain 的海量 API 动态检索与调用架构
网络·架构·langchain
kimi-2229 小时前
LangChain 中创建 Agent(智能体)方法
langchain
樊小肆9 小时前
ollmam+langchain.js实现本地大模型简单记忆对话-内存版
前端·langchain·aigc
飞梦工作室10 小时前
Qwen-Agent 与 LangChain、AutoGPT 详细对比:技术架构、能力差异与选型指南
架构·langchain·ocr
北冥有一鲲1 天前
LangChain.js:RAG 深度解析与全栈实践
开发语言·javascript·langchain