【机器学习】FastGPT 知识库搜索测试功能解析

本文以 FastGPT 知识库的搜索测试功能为入口,分析 FastGPT 的知识检索流程。

一、搜索功能介绍

1.1 整体介绍

搜索测试功能包含三种类型:语义检索、全文检索、混合检索。

**语义检索:**使用向量进行文本相关性查询,即调用向量数据库根据向量的相似性检索;

**全文检索:**使用传统的全文检索,适合查找一些关键词和主调语特殊的数据;

**混合检索:**使用向量检素与全文检素的综合结果返回,使用RRF算法进行排序。

默认情况下使用语义检索,如下所示。

搜索测试前可以根据"知识库搜索配置"进行相关参数的配置,例如:搜索模式、搜索过滤、问题优化等。

1.2 语义检索

本文以语义检索为切入点进行介绍。

依次进入知识库 -> 已创建知识库或新建知识库 -> 搜索测试,如下所示。

可以在测试框内搜索内容,测试当前知识库检索情况,检索完成会显示测试结果,如下所示。

二、主要流程

主要流程分为两部分。

(1)searchTest.ts 文件中 handler 函数负责访问限制的处理,例如:知识库读取权限、Token 的使用量计算等。

(2)controller.ts 文件中 searchDatasetData 函数负责相似向量的检索。

下一篇文章对具体的代码进行讲解。

1\] [FastGPT源码深度剖析:混合检索及语料召回逻辑 - 技术栈](https://jishuzhan.net/article/1772909020735082497 "FastGPT源码深度剖析:混合检索及语料召回逻辑 - 技术栈")

相关推荐
陈敬雷-充电了么-CEO兼CTO9 分钟前
复杂任务攻坚:多模态大模型推理技术从 CoT 数据到 RL 优化的突破之路
人工智能·python·神经网络·自然语言处理·chatgpt·aigc·智能体
G皮T10 小时前
【人工智能】ChatGPT、DeepSeek-R1、DeepSeek-V3 辨析
人工智能·chatgpt·llm·大语言模型·deepseek·deepseek-v3·deepseek-r1
产品经理独孤虾11 小时前
人工智能大模型如何助力电商产品经理打造高效的商品工业属性画像
人工智能·机器学习·ai·大模型·产品经理·商品画像·商品工业属性
G.E.N.1 天前
开源!RAG竞技场(2):标准RAG算法
大数据·人工智能·深度学习·神经网络·算法·llm·rag
静心问道2 天前
大型语言模型中的自动化思维链提示
人工智能·语言模型·大模型
难受啊马飞2.02 天前
如何判断 AI 将优先自动化哪些任务?
运维·人工智能·ai·语言模型·程序员·大模型·大模型学习
静心问道2 天前
大语言模型能够理解并可以通过情绪刺激进行增强
人工智能·语言模型·大模型
DeepSeek大模型官方教程2 天前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
坤坤爱学习2.02 天前
求医十年,病因不明,ChatGPT:你看起来有基因突变
人工智能·ai·chatgpt·程序员·大模型·ai编程·大模型学
我就是全世界2 天前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm