FastGPT 是由 Sealos 团队 开发的开源 AI 知识库问答系统,基于 LLM + RAG(检索增强生成) 架构,支持私有化部署。它提供了可视化的数据预处理、工作流编排、应用发布与权限管理能力,让非技术人员也能快速搭建精准、可控的 AI 助手。
GitHub 地址:labring/FastGPT
FastGPT 的强大源于它将经典 RAG 管线拆解为可编排的模块,并融合了数据预处理、混合检索和高级对话管理等能力。
1. 经典 RAG 基础
首先,FastGPT 遵循标准的 RAG 流程:
文档向量化:将上传的私有文档(PDF、Word、Markdown 等)按段落切分,通过嵌入模型(如 OpenAI text-embedding-3-large)转换为向量,存入向量数据库(PostgreSQL + pgvector 或 Milvus)。
语义检索:用户提问时,将问题向量化,从库中召回语义最相近的文档片段。
上下文增强生成:将召回的片段与用户问题、系统提示词一同送入 LLM,生成最终答案。
2. 混合检索与重排序
为提升检索精度,FastGPT 支持 混合检索 :同时进行向量语义检索与传统的 BM25 关键词检索,并结合 重排序模型(Re-rank) 对多路召回结果做精细排序,大幅减少无关片段对答案的干扰。
3. 高级编排:工作流(Flow)引擎
这是 FastGPT 区别于普通"文档问答"工具的核心设计。通过 可视化拖拽节点,可以自定义整个问答流程:
意图分类节点:自动判断用户是想查询知识库、调用 API,还是闲聊。
知识库搜索节点:指定调用哪个知识库、检索条数、相似度阈值等。
LLM 回答节点:针对不同意图使用不同模型、提示词和温度参数。
插件节点:调用 HTTP 请求、执行代码、查询数据库等,实现联网搜索、企业系统打通。
变量与条件分支:收集用户输入(如订单号)、依据条件走不同分支,实现多轮对话表单填写。
这套引擎让 FastGPT 不仅能做问答,还能编排成客服工单机器人、面试模拟器、合同审查助手等复杂应用。
4. 多模态与数据切分
FastGPT 可处理图文混排文档,通过 OCR 或视觉模型解析图片中的文字。其数据切分支持 自定义分隔符、层级段落、自动 QA 拆分,甚至能直接将文档按"问题-答案对"整理,显著提升检索回答的还原度。
快速上手:
FastGPT 提供了两种部署方式:Sealos 云服务(一键部署) 与 Docker 本地部署。以下以本地 Docker 部署为例,简述核心使用流程。
环境准备
确保安装 Docker 和 docker-compose,然后下载 FastGPT 官方部署文件:
bash
mkdir fastgpt && cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/deploy/docker/docker-compose.yml
按需配置好 LLM 的 API Key(支持 OpenAI、国内大模型等),启动服务:
bash
docker-compose up -d
访问 http://localhost:3000 即可进入管理界面(默认账号 root,密码 123456,请及时修改)。
1. 创建知识库并导入文档
进入"知识库"模块,点击"新建",输入名称和向量模型。然后上传你的文档(支持 txt, pdf, md, docx, csv 等),FastGPT 会自动进入数据处理流水线:
自动分段:智能识别标题层级,在语义边界处分割。
QA 拆分(可选):自动或手动将长文档拆解为"问-答对",更适合客服场景。
图片处理:自动提取图片并转为可搜索的文本描述。
处理完成后,知识库状态变为"就绪",即可被应用调用。
2. 配置 AI 应用
进入"应用"模块,新建一个应用。你可以选择 简单模式 快速启动,也可以进入 高级编排 自由设计工作流。
简单模式下:
关联刚才创建的知识库。
设置系统提示词,如"你是一个专业的客服,请根据以下知识库内容友善回答用户"。
调整温度、上下文长度、检索相似度等参数。
保存并预览,即可立即对话测试。
3. 发布与集成
应用调试满意后,可以:
发布为独立对话页:生成一个可分享的链接,他人无需登录即可使用。
嵌入网站:复制一段 HTML 代码,以悬浮球形式嵌入官网。
通过 API 调用 :FastGPT 暴露了完整的 RESTful API,支持与企业微信、钉钉、飞书等第三方系统集成。
设置权限和知识库引用:支持用户注册登录、为不同团队分配独立应用,保护数据隔离。