运行fastGPT 第四步 配置ONE API 添加模型

上次已经装好了所有的依赖和程序。

下面在网页中配置One API ,这个是大模型的接口。配置好了之后,就可以配置fastGPT了。

打开 OneAPI 页面 添加模型

这里要添加具体的付费模型的API接口填进来。

可以通过ip:3001访问OneAPI后台,**默认账号为root密码为123456。**在OneApi中添加合适的AI大模型渠道。 比如我用质谱AI的API。

第一次进入,先改密码。

创建渠道 也就是质谱AI的渠道 API KEY 添加进去

添加渠道,也就是添加模型 和接口。

这里,比如我想添加GLM质谱AI的大模型,那么就去官网找到这个。找到具体的模型名字。因为我是用作 AI聊天客服,应对日常咨询。因此不需要强大的推理,而是需要急速回答,和便宜。

https://www.bigmodel.cn/pricing

找到以上的就可以了,向量模型用来处理文本,和知识库的信息。所以要一同加入。

注意,这里要手动填入模型的完整名字哦。否则列表中可能没有。 有些新的模型版本,需要自己填写。
然后在你的大模型网站上,找到API KEY 粘贴进去,就可以了。 每次就会扣费了。

测试一下,这里通过了,表示模型已经就位。 可以调用了。

创建ONE API的令牌

创建令牌 其实也就是ONE API 的KEY 用于给fastGPT调用。

创建了新的令牌TOKEN之后,你就能复制它了,就是一串密钥sk开头的

然后fastGPT通过这个,来调用你的ONE API上的接口。 从而扣费。 这样就能实现对个人的管理了。 你可以通过ONE API来多给别人建立几个TOKEN ,每个人单独扣费。你能在后台看到他们的费用情况。

当然,您只是自己用,就随便。 给自己随便填写一个额度。使劲用就行。 保证您的大模型接口上有钱就行。

修改ONE API配置文件 添加参数

找到上一篇文章中的/fastgpt/docker-compose.yml 这个文件,修改下面的参数。 把你的ONE API得到的token粘贴进去。

好了,sk-xxxxxxXU73hQgQ6DaB01601610e41B992995cD929C6C4Ec,我的是这样的。

把oneapi,改成你的 ip。 把 ip填进去替换oneapi就行,其它的不用改

修改FastGPT配置文件 向其中添加模型信息

然后在去修改另一文件。/fastgpt/config.json

为fastGPT添加新模型GLM-4-AirX ,这个是和我们前面ONE API里加入的名字要一致。

bash 复制代码
 {
      "provider": "ZhiPu",
      "model": "GLM-4-AirX",  // 新添加的模型
      "name": "GLM-4-AirX",
      "maxContext": 8000,  // 你可以根据需要设置最大上下文
      "maxResponse": 4000,  // 最大回复
      "quoteMaxToken": 8000,// 最大引用内容
      "maxTemperature": 1,// 最大温度
      "charsPointsPrice": 0.01,  // n积分/1k token(商业版)
      "censor": false,// 是否开启敏感校验(商业版)
      "vision": false,// 是否支持图片输入
      "datasetProcess": true,
      "usedInClassify": true,
      "usedInExtractFields": true,
      "usedInToolCall": true,
      "usedInQueryExtension": true,
      "toolChoice": true,
      "functionCall": false,
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {"top_p": 0.7 },// 请求API时,挟带一些默认配置(比如 GLM4 的 top_p)
      "fieldMap": {}
    }

添加向量模型

bash 复制代码
   {
      "provider": "ZhiPu",
      "model": "embedding-2",    // 模型名(与OneAPI对应)
      "name": "embedding-2",     // 模型展示名
      "charsPointsPrice":0.0005, // n积分/1k token
      "defaultToken": 700,       // 默认文本分割时候的 token
      "maxToken": 3000,          // 最大 token
      "weight": 100,             // 优先训练权重
      "defaultConfig": {

      } // 自定义额外参数。例如,如果希望使用 embedding3-large 的话,可以传入 dimensions:1024,来返回1024维度的向量。(目前必须小于1536维度)
    }


特别要注意的是,这个名子的大小写,千万不要写错了。 它一会儿大写一会儿小写。 错了的话,就找不到接口。报错了。

好了。然后在宝塔面板中,重启这两个docker

ok,搞定了,下面就是去配置FastGPT了。 下一篇文章见~。

相关推荐
sheji10512 小时前
AI桌面机器人市场分析报告
人工智能·机器人·智能硬件
AI科技星12 小时前
《基于 1 的 N 维分形与对称统一理论》
人工智能·算法·机器学习·数学建模·数据挖掘
sweetone12 小时前
好帅(HOST) HS-AF01T电烤炉(空气炸锅)的小修及物联网设备的安全思考
经验分享·单片机·嵌入式硬件·物联网
计育韬12 小时前
Prezi+AI创意玩法:无限手绘地图图解演示文稿
人工智能·新媒体运营·微信公众平台
我的世界洛天依12 小时前
【VFrame・云瑶 R1 国语声库公测】RVC1006Nvidia 训练全记录|私人闭源虚拟歌手养成
人工智能·电脑
AI医影跨模态组学12 小时前
如何将影像组学特征与非小细胞肺癌脑转移瘤免疫微环境中的干扰素通路及CD8+ T细胞浸润建立关联,并解释与预后、免疫治疗响应的机制联系
人工智能·论文·医学·医学影像·影像组学·医学科研
qq_4112624212 小时前
基于 ESP32-S3 + VB6824 的四博 A1 AI 智能拍学机方案:事件驱动架构、拍照识别与语音交互实现
人工智能·智能音箱
ting945200012 小时前
动手学深度学习(PyTorch版)深度详解(6):现代卷积神经网络-从经典模型到图像分类实战
人工智能·分类·cnn
@不误正业12 小时前
第12章-端侧AI操作系统概述
人工智能
Maynor99612 小时前
Codex 中国站正式上线!
人工智能·gpt·macos·github