RAG进阶笔记:RAG进阶

1 查询/索引部分

1.1 层次索引

  • 创建两个索引------一个由摘要组成,另一个由文档块组成
  • 分两步进行搜索:首先通过摘要过滤出相关文档,接着只在这个相关群体内进行搜索

1.2 假设性问题

  • 让LLM为每个块生成一个假设性问题,并将这些问题以向量形式嵌入
  • 在运行时,针对这个问题向量的索引进行查询搜索(用问题向量替换文档的块向量)
  • 检索后将原始文本块作为上下文发送给LLM以获取答案
  • 这种方法由于查询和假设性问题之间的语义相似性更高,从而提高了搜索质量

1.3 句子窗口检索

  • 文档中的每个句子都被单独嵌入向量
  • 在检索到的关键句子前后各扩展k个句子,然后将这个扩展的上下文发送给LLM

1.4 父文档检索器(自动合并检索器)

  • 文档被分割成一个层级化的块结构,随后用最小的叶子块进行索引
  • 在检索过程中检索出top k个叶子块
  • 如果存在n个叶子块都指向同一个更大的父块,那么我们就用这个父块来替换这些子块,并将其送入大模型用于生成答案。

1.4 查询扩展

1.4.1 使用生成的答案进行查询扩展

Precise Zero-Shot Dense Retrieval without Relevance Labels

  • 给定输入查询后,这种方法首先会指示 LLM 提供一个假设答案,无论其正确性如何
  • 然后,将查询和生成的答案合并在一个提示中,并发送给检索系统
    • 基本目的是希望检索到更像答案的文档。
    • 假设答案的正确性并不重要,因为感兴趣的是它的结构和表述

1.3.2 用多个相关问题扩展查询

Query Expansion by Prompting Large Language Models

  • 利用 LLM 生成 N 个与原始查询相关的问题
  • 将所有问题(加上原始查询)发送给检索系统。
  • 通过这种方法,可以从向量库中检索到更多文档。

参考内容:

提升RAG检索质量的三个高级技巧(查询扩展、交叉编码器重排序和嵌入适配器)

相关推荐
ysa0510303 小时前
数论基础知识和模板
数据结构·c++·笔记·算法
今天背单词了吗9804 小时前
算法学习笔记:7.Dijkstra 算法——从原理到实战,涵盖 LeetCode 与考研 408 例题
java·开发语言·数据结构·笔记·算法
mitt_4 小时前
《人生顶层设计》读书笔记7
笔记
智者知已应修善业4 小时前
【51单片机节日彩灯控制器设计】2022-6-11
c语言·经验分享·笔记·单片机·嵌入式硬件·51单片机
Jyywww1214 小时前
微信小程序学习笔记
笔记·学习·微信小程序
m0_678693335 小时前
深度学习笔记29-RNN实现阿尔茨海默病诊断(Pytorch)
笔记·rnn·深度学习
sigmoidAndRELU6 小时前
读Vista
笔记·stable diffusion·世界模型
Sincerelyplz6 小时前
【Temproal】快速了解Temproal的核心概念以及使用
笔记·后端·开源
Yo_Becky8 小时前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
DIY机器人工房8 小时前
0.96寸OLED显示屏 江协科技学习笔记(36个知识点)
笔记·科技·stm32·单片机·嵌入式硬件·学习·江协科技