【文章转载】Lance Martin的关于RAG的笔记

转载自微博@黄建同学

从头开始学习 RAG,看Lance Martin的这篇笔记就行了,包含了十几篇论文和开源实现!


这是一组简短的(5-10 分钟视频)和笔记,解释了我最喜欢的十几篇 RAG 论文。我自己尝试实现每个想法(所有代码都是开源的),并根据图表分组。

代码:github.com/langchain-ai/rag-from-scratch

视频播放列表:youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x

一些亮点: #程序员##ai探索计划#

★RAG 真的死了吗?

RAG 将如何随着长期 LLM 而改变。

视频: youtu.be/SsHUNfhF32s

★自适应RAG 根据复杂程度动态地将查询路由到不同的 RAG 方法。使用Cohere cmd-R 在 LangGraph 中实现。

视频: youtu.be/04ighIjMcAI

代码: github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_adaptive_rag_cohere.ipynb

论文:arxiv.org/abs/2403.14403

★矫正-RAG 在循环单元测试中自我纠正检索错误,以确定文档相关性并返回到网络搜索。在 LangGraph 中实现了Mistral AI -7b + Ollama,以便在本地运行。

视频: youtu.be/E2shqsYwxck

代码: github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_crag.ipynb

论文:arxiv.org/pdf/2401.15884.pdf

★自身RAG

使用循环单元测试自行纠正 RAG 错误,以检查文档相关性、答案幻觉和答案质量。在 LangGraph 中实现,使用Mistral AI -7b + Ollama进行本地运行。

代码:github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb

代码(本地):github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag_local.ipynb

论文:arxiv.org/abs/2310.11511.pdf

★查询路由

将问题引导至正确数据源的各种方法(例如逻辑、语义等)。

视频: youtu.be/pfpIndq7Fi8

代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb

★查询结构

使用 LLM 将自然语言转换为其中 DSL 是一种与给定数据库(SQL、Cypher 等)交互所需的领域特定语言。

视频: youtu.be/kl6NwWYxvbM

代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb

博客:

1/ blog.langchain.dev/query-construction/

2/ 深入研究 graphDB:blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/

3/ 查询结构文档: python.langchain.com/docs/use_cases/query_analysis/techniques/structuring/

4/ 自查询检索器文档: python.langchain.com/docs/modules/data_connection/retrievers/self_query/

★多表示索引

使用 LLM 生成针对检索进行优化的文档摘要("命题")。嵌入这些摘要以进行相似性搜索,但将完整文档返回给 LLM 进行生成。

视频: youtu.be/gTCU9I6QqCE

代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb

论文: arxiv.org/pdf/2312.06648.pdf

★PAPROT

将语料库中的文档聚类,并递归地总结相似的文档。将它们全部编入索引,生成较低级别的文档和摘要,可以检索这些文档和摘要来回答从详细到更高级别的问题。

视频: youtu.be/z_6EeA2LDSw

代码: github.com/langchain-ai/langchain/blob/master/cookbook/RAPTOR.ipynb

论文: arxiv.org/pdf/2401.18059.pdf

★ColBERT

使用受上下文影响的嵌入来提高文档和查询中每个标记的嵌入粒度。

视频: youtu.be/cN6S0Ehm7_8

代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb

论文:arxiv.org/abs/2004.12832

★ 多次查询

从多个角度重写用户问题,为每个重写的问题检索文档,返回所有查询的唯一文档。

视频: youtube.com/watch?v=JChPi0CRnDY

代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb

论文: arxiv.org/pdf/2305.14283.pdf

★RAG融合

从多个角度重写用户问题,检索每个重写问题的文档,并组合多个搜索结果列表的排名,以使用倒数排名融合 (RRF) 生成单一、统一的排名。

视频: youtube.com/watch?v=77qELPbNgxA

代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb

项目:github.com/Raudaschl/rag-fusion

★ 分解

将问题分解为一组子问题/问题,可以按顺序解决(使用第一个问题的答案 + 检索来回答第二个问题),也可以并行解决(将每个答案合并为最终答案)。各种工作,如从最少到最多提示和 IR-CoT 提出了可以利用的想法。

视频: youtube.com/watch?v=h0OPWlEOank

代码: github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb

论文: arxiv.org/pdf/2205.10625.pdf,arxiv.org/pdf/2212.10509.pdf

★ 后退提示

首先提示 LLM 提出一个关于高级概念或原则的通用后退问题,并检索有关它们的相关事实。使用此基础来帮助回答用户问题。

视频: youtube.com/watch?v=xn1jEjRyJ2U

代码:github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb

论文:arxiv.org/pdf/2310.06117.pdf

★ HyDE

LLM 将问题转换为回答问题的假设文档。使用嵌入的假设文档检索真实文档,前提是 doc-doc 相似性搜索可以产生更多相关匹配。

视频:youtube.com/watch?v=SaDzIVkYqyY

代码:github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb

论文:arxiv.org/abs/2212.10496

相关推荐
飞哥数智坊21 小时前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三21 小时前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯1 天前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet1 天前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算1 天前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
机器之心1 天前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai
Juchecar1 天前
交叉熵:深度学习中最常用的损失函数
人工智能
林木森ai1 天前
爆款AI动物运动会视频,用Coze(扣子)一键搞定全流程(附保姆级拆解)
人工智能·aigc
聚客AI1 天前
🙋‍♀️Transformer训练与推理全流程:从输入处理到输出生成
人工智能·算法·llm
BeerBear1 天前
【保姆级教程-从0开始开发MCP服务器】一、MCP学习压根没有你想象得那么难!.md
人工智能·mcp