FastGPT + OneAPI 构建知识库

云端text-embedding模型

这个在前面的文章FastGPT私有化部署+OneAPI配置大模型中其实已经说过,大概就是部署完成OneAPI后,分别新建令牌和渠道,并完成FastGPT的配置。

新建渠道

选择模型的类型并配置对应的词向量模型即可,这里我选择的是阿里通义千问。

重启oneAPI

FastGPT配置

docker-compose.yml文件配置

修改 FastGPT 配置文件config.json

bash 复制代码
"vectorModels": [
	{
      "model": "text-embedding-v1",
      "name": "lingmouAI",
      "inputPrice": 0,
      "outputPrice": 0,
      "defaultToken": 700,
      "maxToken": 3000,
      "weight": 100
    },
	{
      "model": "text-embedding-ada-002",
      "name": "lingmouAI",
      "inputPrice": 0,
      "outputPrice": 0,
      "defaultToken": 700,
      "maxToken": 3000,
      "weight": 100
    }
  ],

重启fastGPT

bash 复制代码
docker-compose up -d

FastGPT测试知识库训练

新建知识库

上传文件

上传文件并设置训练方式和处理方式

上传数据,并等待训练完成

新建应用并测试

新建完成后,在应用内选择刚刚配置的知识库,就可以对话了

对text-embedding理解

问题记录

  1. 会出现多次请求大模型的情况,导致会有重复输出,重启后也没有解决。现在原因还没分析出来。
    如下所示:

    我是在本地cpu电脑上跑的qwen:b的模型,并在FastGPT中提问测试。由于我关联了知识库,会到知识库中找到相似的内容后发给本地大模型,但是我发现参数量比较小的模型不能很好处理较多的输入,所以导致时间很长才会有输出且内容不准确。相关截图如下:


本地text-embedding模型

模型下载

使用ollama下载m3e模型,部署完成后可使用PostMan等工具调用

bash 复制代码
ollama pull milkey/m3e:small-f16

OneAPI一定要使用最新的版本,不然会出现报错

OneAPI配置渠道信息

配置好后可使用postman调用

修改FastGPT的config.json文件

FastGPT上传知识库并训练

新建知识库选择本地知识库模型

上传知识库文件并训练

等待训练完成

FastGPT新建应用并测试

相关推荐
小嗷犬13 小时前
【论文笔记】The Power of Scale for Parameter-Efficient Prompt Tuning
论文阅读·人工智能·大模型·微调·prompt
思绪无限13 小时前
详解Gemini API的使用:在国内实现大模型对话与目标检测教程
人工智能·目标检测·计算机视觉·chatgpt·大模型·使用教程·gemini api
少喝冰美式18 小时前
大语言模型在序列推荐中的应用
人工智能·程序人生·自然语言处理·大模型·大语言模型·计算机技术·大模型应用
再不会python就不礼貌了1 天前
本地部署多模态大模型,并结合Open-WebUI和Dify实现多模态对话、智能体,保姆级!
人工智能·深度学习·microsoft·机器学习·ai·架构·大模型
gz7seven1 天前
大模型学习笔记------BLIP模型详解与思考
大模型·多模态·blip·多模态学习·多模态大模型·图文生成
在人间负债^2 天前
基于标签相关性的多标签学习
人工智能·python·chatgpt·大模型·图像类型
少喝冰美式3 天前
大模型在金融行业的应用场景和落地路径
人工智能·程序人生·自然语言处理·金融·大模型·大模型落地·大模型应用场景
OT.Ter3 天前
ChatGLM2-6B微调记录【2】
chatgpt·大模型·微调·chatglm
小嗷犬3 天前
【论文笔记】Prefix-Tuning: Optimizing Continuous Prompts for Generation
论文阅读·人工智能·语言模型·大模型·微调
小嗷犬3 天前
【论文笔记】Parameter-Efficient Transfer Learning for NLP
论文阅读·人工智能·自然语言处理·大模型·微调