【机器学习】FastGPT 知识库搜索测试功能解析

本文以 FastGPT 知识库的搜索测试功能为入口,分析 FastGPT 的知识检索流程。

一、搜索功能介绍

1.1 整体介绍

搜索测试功能包含三种类型:语义检索、全文检索、混合检索。

**语义检索:**使用向量进行文本相关性查询,即调用向量数据库根据向量的相似性检索;

**全文检索:**使用传统的全文检索,适合查找一些关键词和主调语特殊的数据;

**混合检索:**使用向量检素与全文检素的综合结果返回,使用RRF算法进行排序。

默认情况下使用语义检索,如下所示。

搜索测试前可以根据"知识库搜索配置"进行相关参数的配置,例如:搜索模式、搜索过滤、问题优化等。

1.2 语义检索

本文以语义检索为切入点进行介绍。

依次进入知识库 -> 已创建知识库或新建知识库 -> 搜索测试,如下所示。

可以在测试框内搜索内容,测试当前知识库检索情况,检索完成会显示测试结果,如下所示。

二、主要流程

主要流程分为两部分。

(1)searchTest.ts 文件中 handler 函数负责访问限制的处理,例如:知识库读取权限、Token 的使用量计算等。

(2)controller.ts 文件中 searchDatasetData 函数负责相似向量的检索。

下一篇文章对具体的代码进行讲解。

[1] FastGPT源码深度剖析:混合检索及语料召回逻辑 - 技术栈

相关推荐
大耳朵爱学习2 小时前
大模型预训练的降本增效之路——从信息密度出发
人工智能·深度学习·机器学习·自然语言处理·大模型·llm·大语言模型
Seal软件9 小时前
GPUStack 0.2:开箱即用的分布式推理、CPU推理和调度策略
大模型·llm·aigc·gpu·genai·gpu集群
GPUStack9 小时前
GPUStack 0.2:开箱即用的分布式推理、CPU推理和调度策略
ai·大模型·aigc·gpu·genai·gpu集群
智能涌现1 天前
利基网站收入报告(更新至十月)
人工智能·语言模型·自然语言处理·chatgpt
csdnzzt1 天前
一文入门生成式AI(理解ChatGPT的原理)
人工智能·chatgpt
TechQuester1 天前
OpenAI 刚刚推出 o1 大模型!!突破LLM极限
人工智能·python·gpt·算法·chatgpt
真-忒修斯之船1 天前
搭配Knowledge Graph的RAG架构
人工智能·大模型·llm·知识图谱·graph·rag·knowledgegraph
字节跳动数据平台1 天前
火山引擎数智平台:高性能ChatBI的技术解读和落地实践
大数据·大模型·数据可视化·bi
乌漆嘎嘎黑1 天前
下载 llama2-7b-hf 全流程【小白踩坑记录】
大模型·llama2·大模型下载·llama-2-7b-hf
营赢盈英1 天前
OpenAI GPT-3 API error: “You must provide a model parameter“
chatgpt·gpt-3·openai·swift