RAG进阶笔记:RAG进阶

1 查询/索引部分

1.1 层次索引

  • 创建两个索引------一个由摘要组成,另一个由文档块组成
  • 分两步进行搜索:首先通过摘要过滤出相关文档,接着只在这个相关群体内进行搜索

1.2 假设性问题

  • 让LLM为每个块生成一个假设性问题,并将这些问题以向量形式嵌入
  • 在运行时,针对这个问题向量的索引进行查询搜索(用问题向量替换文档的块向量)
  • 检索后将原始文本块作为上下文发送给LLM以获取答案
  • 这种方法由于查询和假设性问题之间的语义相似性更高,从而提高了搜索质量

1.3 句子窗口检索

  • 文档中的每个句子都被单独嵌入向量
  • 在检索到的关键句子前后各扩展k个句子,然后将这个扩展的上下文发送给LLM

1.4 父文档检索器(自动合并检索器)

  • 文档被分割成一个层级化的块结构,随后用最小的叶子块进行索引
  • 在检索过程中检索出top k个叶子块
  • 如果存在n个叶子块都指向同一个更大的父块,那么我们就用这个父块来替换这些子块,并将其送入大模型用于生成答案。

1.4 查询扩展

1.4.1 使用生成的答案进行查询扩展

Precise Zero-Shot Dense Retrieval without Relevance Labels

  • 给定输入查询后,这种方法首先会指示 LLM 提供一个假设答案,无论其正确性如何
  • 然后,将查询和生成的答案合并在一个提示中,并发送给检索系统
    • 基本目的是希望检索到更像答案的文档。
    • 假设答案的正确性并不重要,因为感兴趣的是它的结构和表述

1.3.2 用多个相关问题扩展查询

Query Expansion by Prompting Large Language Models

  • 利用 LLM 生成 N 个与原始查询相关的问题
  • 将所有问题(加上原始查询)发送给检索系统。
  • 通过这种方法,可以从向量库中检索到更多文档。

参考内容:

提升RAG检索质量的三个高级技巧(查询扩展、交叉编码器重排序和嵌入适配器)

相关推荐
_落纸2 天前
三大基础无源电子元件——电阻(R)、电感(L)、电容(C)
笔记
Alice-YUE2 天前
【CSS学习笔记3】css特性
前端·css·笔记·html
2303_Alpha2 天前
SpringBoot
笔记·学习
Hello_Embed2 天前
STM32HAL 快速入门(二十):UART 中断改进 —— 环形缓冲区解决数据丢失
笔记·stm32·单片机·学习·嵌入式软件
咸甜适中2 天前
rust语言 (1.88) 学习笔记:客户端和服务器端同在一个项目中
笔记·学习·rust
Grassto2 天前
RAG 从入门到放弃?丐版 demo 实战笔记(go+python)
笔记
Magnetic_h2 天前
【iOS】设计模式复习
笔记·学习·ios·设计模式·objective-c·cocoa
周周记笔记2 天前
学习笔记:第一个Python程序
笔记·学习
丑小鸭是白天鹅2 天前
Kotlin协程详细笔记之切线程和挂起函数
开发语言·笔记·kotlin
潘达斯奈基~2 天前
《大数据之路1》笔记2:数据模型
大数据·笔记