FastGPT + OneAPI 构建知识库

colorful_-_2024-05-30 22:59

云端text-embedding模型

这个在前面的文章FastGPT私有化部署+OneAPI配置大模型中其实已经说过，大概就是部署完成OneAPI后，分别新建令牌和渠道，并完成FastGPT的配置。

新建渠道

选择模型的类型并配置对应的词向量模型即可，这里我选择的是阿里通义千问。

重启oneAPI

FastGPT配置

docker-compose.yml文件配置

修改 FastGPT 配置文件config.json

bash 复制代码

"vectorModels": [
	{
      "model": "text-embedding-v1",
      "name": "lingmouAI",
      "inputPrice": 0,
      "outputPrice": 0,
      "defaultToken": 700,
      "maxToken": 3000,
      "weight": 100
    },
	{
      "model": "text-embedding-ada-002",
      "name": "lingmouAI",
      "inputPrice": 0,
      "outputPrice": 0,
      "defaultToken": 700,
      "maxToken": 3000,
      "weight": 100
    }
  ],

重启fastGPT

bash 复制代码

docker-compose up -d

FastGPT测试知识库训练

新建知识库

上传文件

上传文件并设置训练方式和处理方式

上传数据，并等待训练完成

新建应用并测试

新建完成后，在应用内选择刚刚配置的知识库，就可以对话了

对text-embedding理解

问题记录

会出现多次请求大模型的情况，导致会有重复输出，重启后也没有解决。现在原因还没分析出来。
如下所示：

我是在本地cpu电脑上跑的qwen:b的模型，并在FastGPT中提问测试。由于我关联了知识库，会到知识库中找到相似的内容后发给本地大模型，但是我发现参数量比较小的模型不能很好处理较多的输入，所以导致时间很长才会有输出且内容不准确。相关截图如下：