MaxKB 如何对接本地向量模型

一、下载向量模型

在对接向量模型之前,先去下载好对应的模型:https://huggingface.co/

(注意:下载模型需要使用魔法,最好使用网络稳定一点的。)

二、上传模型到服务器

下载好模型之后,上传到部署MaxKB的服务器上。

2.1 创建 model 文件夹

bash 复制代码
## 创建 model 文件夹
mkdir /opt/maxkb/model  

2.2 修改docker-compose.yaml,添加volume挂载点

bash 复制代码
## 修改docker-compose.yaml,添加volume挂载点
version: "2.1"
services:
  maxkb:
    container_name: maxkb
    hostname: maxkb
    restart: always
    image: ${MAXKB_IMAGE_REPOSITORY}/maxkb-pro:${MAXKB_VERSION}
    ports:
      - "${MAXKB_PORT}:8080"
    healthcheck:
      test: ["CMD", "curl", "-f", "localhost:8080"]
      interval: 10s
      timeout: 10s
      retries: 120
    volumes:
      - /tmp:/tmp
      - ${MAXKB_BASE}/maxkb/logs:/opt/maxkb/app/data/logs
      - mk-model-data:/opt/maxkb/model
    env_file:
      - ${MAXKB_BASE}/maxkb/conf/maxkb.env
    depends_on:
      pgsql:
        condition: service_healthy
    networks:
      - maxkb-network
    entrypoint: ["docker-entrypoint.sh"]
    command: "python /opt/maxkb/app/main.py start"

networks:
  maxkb-network:
    driver: bridge
    ipam:
      driver: default

volumes:
  mk-model-data:
    driver_opts:
      type: none
      device: ${MAXKB_BASE}/maxkb/model
      o: bind
bash 复制代码
## 添加完之后重新启动
docker-compose -f docker-compose.yml  -f docker-compose-pgsql.yml  up -d 

##  等一会查看一下状态
docker  ps 

2.3 检查mode文件夹是否有maxkb的默认模型

2.4 把下载好的向量模型放到model文件夹下

bash 复制代码
## 把下载的模型放到model当中
cp -R  /opt/models--moka-ai--m3e-large /opt/maxkb/model

注意!注意!注意:后续下载新的模型只需要放到model文件夹下面即可。

三、配置本地向量模型

3.1 添加模型

系统管理->模型设置->本地模型->"添加模型"

添加好之后如图:

3.1.1 参数详情:

模型名字: 自定义模型名字(填写自己模型名字就好)
模型类型: 选择"向量模型"
基础模型: 此处需要注意,要手动填写对应的模型地址。

例如:

bash 复制代码
/opt/maxkb/model/models--moka-ai--m3e-large/snapshots/12900375086c37ba5d83d1e417b21dc7d1d1f388

所填写的地址必须要有,pytorch_model.bin、tokenizer_config.json、tokenizer.json 等这些文件

不同的模型,路径应该有所不同,根据实际情况修改
模型目录: 默认跟"基础模型"路径一致

3.2 使用自定义模型

在创建知识库的时候,指定向量模型即可

相关推荐
智联视频超融合平台2 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
谙弆悕博士14 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
Chuck.li16 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
谙弆悕博士19 小时前
多智能体架构详解:黑板共享架构(共享存储交互型)
人工智能·架构·大模型·agent·多智能体·黑板架构·anggraph
学无止境小袁同学21 小时前
OpenAI Agents SDK 模板操作手册(可直接操作)
大模型·openai·agent·sdk·大模型应用
九卷1 天前
本体(Ontology)是什么?在 AI 中,本体的作用到底是什么?.md
大模型·agent
佛系1892 天前
从服务端日志精确分离搜索抓取、监控探测与真实流量的实操清单
ai·大模型·seo·geo·结构化数据·indexnow
MSTcheng.2 天前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
LiaoWL1232 天前
从零搭一个 RAG 知识库(二):换上语义 Embedding——BGE 实测与阈值重校准
python·大模型·numpy·embedding·向量检索·rag
小七-七牛开发者4 天前
PACE:代码通过率从 42% 到 97%, 让长程 Agent 在有限 KV Cache 下用好历史 Token
大模型·claude·token·工作流·长程agent