多模态知识库，打通文本、图像与视频资源的协同实践与应用

多模态知识库，打通文本、图像与视频资源的协同实践与应用

本文介绍一个支持文本、图像、视频三类资源统一入库与检索的跨模态知识库系统。三类资源经统一向量化后进入同一向量空间，用户只需输入一句自然语言，即可一次性召回三种模态的相关资源，并按类型直观展示。

目录

4.1 知识库样本..................................... 3

4.2 上传文本\图片\视频............................. 4

4.3 检索要回效果................................... 4

1. 背景与痛点

　　企业内部的知识与经验以多种形态存在：规章制度、操作手册是文本 ；生产工况 、设备照片、产品图像、质检图像是图像 ；维修过程、培训录像、生产监控是视频。

**　　传统的知识库难以覆盖这些形态** ，关键词检索只能匹配文字字段；OCR只能提取图像中的文字，对不含文字的图片（设备状态、产品外观、现场场景）无能为力 ；就算基于大模型 ，视频内容几乎完全无法被检索，只能依赖文件名或人工打标签。

**　　大模型与嵌入技术能够实现** ：把不同模态的内容都映射到同一个向量空间中，让"语义相近的内容在空间中被召回"。这样，一句自然语言查询就能同时召回文本、图像和视频，真正实现跨模态检索。

　　应用流程示意如下图：

　　测试系统应用，如下图：

2. 技术选型

　　嵌入模型方面，通用多模态嵌入模型（Qwen3.5 底座），支持文本、图像、视频与视觉 文档输入，多模态模型的优势在于"一个模型、一个向量空间"：三类内容映射到同一空间，天然支持跨模态互查，无需多模型拼接与空间对齐。

　　向量检索引擎方面，选用 FAISS，使用精确内积索引（IndexFlatIP）。归一化向量的内积即余弦相似度，因此检索分数可直接解释为"相似度"。知识库规模不大时，精确索引零调参、结果无近似误差，实现最简单。

3. 关键参数与调优

　　系统对外暴露四类可调参数，均可在前端参数面板中直接修改并即时生效：

参数	含义	取值范围	默认值
取帧间隔（秒）	视频采样密度，fps = 1 / 取帧间隔	1 ~ 120	1
Top-K	返回结果数量上限	1 ~ 20	3
相似度阈值	相似度低于该值的结果不返回	0.1 ~ 0.99	0.6
重复内容阈值	结果间余弦相似度达到该值视为重复，只保留一条	0.9 ~ 1.0	0.98