【机器学习】FastGPT 知识库搜索测试功能解析

本文以 FastGPT 知识库的搜索测试功能为入口,分析 FastGPT 的知识检索流程。

一、搜索功能介绍

1.1 整体介绍

搜索测试功能包含三种类型:语义检索、全文检索、混合检索。

**语义检索:**使用向量进行文本相关性查询,即调用向量数据库根据向量的相似性检索;

**全文检索:**使用传统的全文检索,适合查找一些关键词和主调语特殊的数据;

**混合检索:**使用向量检素与全文检素的综合结果返回,使用RRF算法进行排序。

默认情况下使用语义检索,如下所示。

搜索测试前可以根据"知识库搜索配置"进行相关参数的配置,例如:搜索模式、搜索过滤、问题优化等。

1.2 语义检索

本文以语义检索为切入点进行介绍。

依次进入知识库 -> 已创建知识库或新建知识库 -> 搜索测试,如下所示。

可以在测试框内搜索内容,测试当前知识库检索情况,检索完成会显示测试结果,如下所示。

二、主要流程

主要流程分为两部分。

(1)searchTest.ts 文件中 handler 函数负责访问限制的处理,例如:知识库读取权限、Token 的使用量计算等。

(2)controller.ts 文件中 searchDatasetData 函数负责相似向量的检索。

下一篇文章对具体的代码进行讲解。

1 FastGPT源码深度剖析:混合检索及语料召回逻辑 - 技术栈

相关推荐
console.log('npc')26 分钟前
DeepSeek Harness 使用教程
大模型·ai编程·deepseek·harness
Code_LT2 小时前
Deepseek harness的 subAgent机制(chatgpt)
chatgpt
大数据点灯人3 小时前
【大模型】深度解答:OOV 与 Tokenizer 词汇表共用问题
人工智能·深度学习·ai·大模型·transformer
寻道码路6 小时前
大模型工程化实战(三):LLM 灰度发布 + 自动熔断,1% 流量试错、指标劣化自动回滚
大模型·mlops·ai工程化·llm灰度发布·自动熔断·金丝雀·生产落地
李昊哲小课6 小时前
大模型应用开发课程——项目 13~16 完整教程
人工智能·大模型·智能体
李燚18 小时前
HITL 源码:8 种人机协同模式的设计(第85篇-E71)
ai·agent·ai编程·模式·rag·eino·hitl
精彩AI说1 天前
ChatGPT生成内容总是不按要求怎么办?格式、字数和指令失效的6个解决方法
chatgpt·prompt·ai写作·提示词·使用技巧·chatgpt教程