FastGPT入门实战

概述

官网，官方文档，开源（GitHub，26K Star，6.7K Fork）。企业级AI Agent构建平台，可视化Workflow编排+超易用AI知识库+创新RAG检索+模板生态=轻松构建强大AI应用。

安装

通过Docker Compose安装，很简单：

bash 复制代码

git clone https://github.com/labring/FastGPT.git
cd FastGPT/deploy/docker
cp docker-compose-milvus.yml docker-compose.yml
docker compose up -d

FastGPT提供三种存储方式：

Milvus：本地部署，适合亿级以上的索引量；
PgVector：适合千万级别知识库索引量；
zilliz：使用zilliz云服务。

这里使用milvus，复制配置文件：

docker compose up -d执行报错：

查看本地目录以及git status .：

GitHub代码库，并没有该目录：

莫名其妙，config.json文件夹从哪里冒出来的？？？

解决方法：删除该文件夹，从projects\app\data目录复制该文件：
cp ../../projects/app/data/config.json config.json，然后重试docker compose up -d。

模型配置

系统自动检测，并提示没有可用的语言模型，并跳转到模型配置页面：

点击【模型渠道】，右上角【新增渠道】

【协议类型】和【模型】两个下拉框，搜索都有点问题。

以阿里云为例：

注意：有些平台在对接阿里云百炼时，填写的API URL是https://dashscope.aliyuncs.com/compatible-mode/v1，FastGPT会自动补齐/compatible-mode/v1。

也就是说，先点击【模型渠道】配置好API Key，从下拉列表随便勾选一个模型，测试API Key的可用性，然后点击【模型配置】，点击启用，【可用模型】列表就能看到启用中模型

如上图，SenseVoiceSmall这个ASR模型是在【阿里云】不是【通义千问】下面的，这也导致下面提到的ASR模型测试异常。

Ollama

【协议类型】选择Ollama，理论上Ollama支持部署任意模型。点击【新增模型】

很熟悉，和Dify一样：

新增模型页面，和XInference比较类似：

4个必填参数：模型ID、别名、最大上下文、知识库最大引用。模型新增成功后，在模型列表最下面可看到：

点击【模型渠道】列表，很贴心，有个模型测试入口：

测试结果：

Bug还真不少：

和n8n一样，会自动启动模型：

常见错误

一开始填写完整的地址：https://dashscope.aliyuncs.com/compatible-mode/v1，于是遇到下面这些莫名其妙的报错。

网络连接EOF异常：

模型不存在：

模型404：

请求错误：

握手异常：

使用阿里云，不填写【代理地址】，ASR和TTS模型还是有问题：

配置DeepSeek驱动+deepseek-chat，模型测试如下，预期之内，未充值：

索引模型

理论上有了问答（推理）模型，就可使用【聊天】功能：

Embedding模型为啥是必须的？

Ok, fine.

选择经过q4量化体积约52MB，适合中文嵌入场景的shaw/dmeta-embedding-zh-small-q4，模型测试：

应用

点击【聊天】，发起Query，弹窗报错：

点击【工作台】，

点击新建：

选择创建空白应用：

至此，FastGPT本地部署，使用Ollama本地模型，聊天机器人，最小功能已跑通。

知识库

点击右上角【新建】

其中【Web站点同步】需升级到商业版方可使用。

新增【第三方知识库】：

API文件库

飞书知识库

语雀知识库

创建一个通用知识库，索引模型是必须要配置的

但【文本理解模型】和【图片理解模型】之前从来没看到，这里需要对LLM有一些基本了解，勾选vl类模型的启用后，【可用模型】列表出现该模型

然后新增知识库就能看到

打开知识库，点击右上角【新建/导入】

支持的导入方式还是挺多的，

点击空白数据集，支持三种方式：

选择本地文件，支持的文件后缀名以及文件（大小和数量）限制如下：

继续

其中处理方式有两种：

分块存储：将文本按一定的规则进行分段处理后，转成可进行语义搜索的格式，适合绝大多数场景。不需要调用模型额外处理，成本低。
问答对提取：根据一定规则，将文本拆成一段较大的段落，调用AI为该段落生成问答对。有非常高的检索精度，但是会丢失很多内容细节。

分块条件有三种：

索引增强有三个选项：

将标题加入索引：自动给索引所有索引加标题名；
自动生成补充索引：通过大模型进行额外索引生成，提高语义丰富度，提高检索的精度。需升级商业版方可使用；
图片自动索引：调用VLM自动标注文档里的图片，并生成额外的检索索引。同上需付费。

分块处理参数，有两种选项，来看看自定义：

有三种分块方式：

段落：优先按Makdown标题段落进行分块，如果分块过长，再按长度进行二次分块；
长度：最简单暴力方式；
分隔符：允许根据自定义的分隔符进行分块。通常用于已处理好的数据，使用特定的分隔符来精确分块。可使用|符号表示多个分割符，如。|.表示中英文句号。尽量避免使用正则相关特殊符号，如*()[]{}等。

模型识别段落选项：