FastGPT 源码:RRF、Rerank 相关代码

文章目录

    • [FastGPT 源码:RRF、Rerank 相关代码](#FastGPT 源码:RRF、Rerank 相关代码)
      • [1. RRF (Reciprocal Rank Fusion) 合并实现](#1. RRF (Reciprocal Rank Fusion) 合并实现)
      • [2. Rerank 二次排序实现](#2. Rerank 二次排序实现)
      • [3. 重排序的主要特点](#3. 重排序的主要特点)
      • [4. 整个搜索流程](#4. 整个搜索流程)
      • [5. 这种方式的优势](#5. 这种方式的优势)

FastGPT 源码:RRF、Rerank 相关代码

下边介绍 RRF 合并和 Rerank 二次排序的相关实现:

1. RRF (Reciprocal Rank Fusion) 合并实现

主要在 datasetSearchResultConcat 函数中实现(packages/global/core/dataset/search/utils.ts):

typescript 复制代码
// RRF公式实现
const score = 1 / (k + rank);  // k是一个常数(60),rank是搜索结果的排名

// 合并多个渠道的搜索结果
arr.forEach((item) => {
  const k = item.k;
  item.list.forEach((data, index) => {
    const rank = index + 1;
    const score = 1 / (k + rank);
    
    // 如果已存在相同ID的结果,合并score
    if (record) {
      map.set(data.id, {
        ...record,
        score: concatScore,
        rrfScore: record.rrfScore + score
      });
    } else {
      map.set(data.id, {
        ...data,
        rrfScore: score
      });
    }
  });
});

RRF 合并主要用在以下场景:

  • 合并向量检索和全文检索的结果
  • 合并多个查询的搜索结果
  • 合并重排序后的结果

2. Rerank 二次排序实现

重排序功能在 reRankRecall 函数中实现(packages/service/core/ai/rerank/index.ts):

typescript 复制代码
export function reRankRecall({
  query,
  documents
}: {
  query: string;
  documents: { id: string; text: string }[];
}) {
  // 调用重排序模型API
  return POST<PostReRankResponse>(
    model.requestUrl,
    {
      model: model.model,
      query,
      documents: documents.map((doc) => doc.text)
    }
  ).then((data) => {
    // 返回重排序后的结果和相关性分数
    return data?.results?.map((item) => ({
      id: documents[item.index].id,
      score: item.relevance_score  // 0-1之间的相关性分数
    }));
  });
}

3. 重排序的主要特点

  • 使用专门的重排序模型对搜索结果进行二次评分
  • 得到 0-1 之间的相关性分数,比向量相似度更精确
  • 可以根据重排分数进行过滤,提高精度
  • 重排结果会与其他搜索结果一起通过 RRF 合并

4. 整个搜索流程

  1. 同时进行向量检索和全文检索
  2. 对检索结果进行重排序评分
  3. 使用 RRF 合并三种结果(向量检索、全文检索、重排序)
  4. 根据相关度分数进行过滤
  5. 返回最终结果

5. 这种方式的优势

  • 综合多种检索方式的优势
  • 通过重排序提高精度
  • 使用 RRF 合理合并多个渠道的结果
相关推荐
孟健5 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
lipku7 小时前
LiveTalking 获2026 开源行业解决方案创新赛二等奖
开源
行百里er9 小时前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源
风云10 小时前
两条 Pipe、五个命门:Vane.NET 内核为什么长这样
开源·网络编程·.net·架构设计·vane.net
分布式存储与RustFS13 小时前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
guuguo13 小时前
【做个开源软件】Mac 上 node 进程莫名吃掉 6G 内存?给 AI / MCP 做了个深度归因和安全回收工具
人工智能·开源·github
一切皆有可能!!15 小时前
【SoduWork测评】本机跑源码,找到并修了7个Bug
windows·开源·bug·ai编程·soduwork
冬奇Lab1 天前
一天一个开源项目(第263篇):江山时序 —— 纯静态的中国历史交互地图,从三家分晋拖到今天,还能让 AI 查地名
开源
wflynn1 天前
GitHub 日榜趋势速报 | 2026-11-18
开源·github
Pniubi1 天前
SoduWork开源贡献日记——开源贡献入门教程
开源