如何替换对接使用本地向量模型

一、下载向量模型

在对接向量模型之前,先去下载好对应的模型:()

(注意:下载模型需要使用魔法,最好使用网络稳定一点的。)

二、上传模型到服务器

下载好模型之后,上传到部署 MaxKB 的服务器上。

1. 创建 model 文件夹

复制代码
## 创建 model 文件夹
mkdir /opt/maxkb/model  

2. 修改docker-compose.yaml,添加volume挂载点

复制代码
##修改docker-compose.yaml,添加volume挂载点
version: "2.1"
services:
  maxkb:
    container_name: maxkb
    hostname: maxkb
    restart: always
    image: ${MAXKB_IMAGE_REPOSITORY}/maxkb-pro:${MAXKB_VERSION}
    ports:
      - "${MAXKB_PORT}:8080"
    healthcheck:
      test: ["CMD", "curl", "-f", "localhost:8080"]
      interval: 10s
      timeout: 10s
      retries: 120
    volumes:
      - /tmp:/tmp
      - ${MAXKB_BASE}/maxkb/logs:/opt/maxkb/app/data/logs
      - mk-model-data:/opt/maxkb/model
    env_file:
      - ${MAXKB_BASE}/maxkb/conf/maxkb.env
    depends_on:
      pgsql:
        condition: service_healthy
    networks:
      - maxkb-network
    entrypoint: ["docker-entrypoint.sh"]
    command: "python /opt/maxkb/app/main.py start"
 
networks:
  maxkb-network:
    driver: bridge
    ipam:
      driver: default
 
volumes:
  mk-model-data:
    driver_opts:
      type: none
      device: ${MAXKB_BASE}/maxkb/model
      o: bind
复制代码
## 添加完之后重新启动
docker-compose -f docker-compose.yml  -f docker-compose-pgsql.yml  up -d
 
##  等一会查看一下状态
docker  ps

3. 检查mode文件夹是否有MaxKB的默认模型

4. 把下载好的向量模型放到model文件夹下

复制代码
## 把下载的模型放到model当中
cp -R  /opt/models--moka-ai--m3e-large /opt/maxkb/model

注意:后续下载新的模型只需要放到model文件夹下面即可。

三、配置本地向量模型

1. 添加模型

系统管理->模型设置->本地模型→"添加模型"

1.1. 参数详情:

模型名字:自定义模型名字(填写自己模型名字就好)

模型类型:选择"向量模型"

基础模型:此处需要注意,要手动填写对应的模型地址。

所填写的地址必须要有,pytorch_model.bin、tokenizer_config.json、tokenizer.json 等这些文件

复制代码
/opt/maxkb/model/models--moka-ai--m3e-large/snapshots/12900375086c37ba5d83d1e417b21dc7d1d1f388

不同的模型,路径应该有所不同,根据实际情况修改

模型目录:默认跟"基础模型"路径一致

添加好之后如图:

2. 使用自定义模型

在创建知识库的时候,指定向量模型即可

相关推荐
万里侯4 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐4 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
最强小杰12 小时前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai
Maynor99613 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
七夜zippoe13 小时前
多 Agent 通信灾难:状态不一致导致雪崩故障的排查与防护
ai·agent·通信灾难·雪崩故障·排查与防护
Forget the Dream15 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
zdr尽职尽责17 小时前
UnityCli 兼容2022版本
ui·unity·ai·c#·游戏引擎
Soari21 小时前
NetPilot:用RAG与验证回路辅助混合TSN和5G网络配置
5g·网络配置·大语言模型·tsn·rag
Sharewinfo_BJ1 天前
从“看数据”到“做决策”:AI时代,BI的下一个形态是什么?
ai·数据分析·bi·智信bi
codigger1 天前
AI 三分钟写完的代码,你凭什么敢直接上线?
ai·程序员·编程·ai编程·#人工智能