摘要:多模态检索不一定需要专用向量数据库。 如果业务主要是图片、音频、视频或文本的向量相似度召回,可以评估 Milvus、Qdrant 等专用向量数据库;如果需要将向量检索与关键词搜索、结构化过滤、业务数据关联及 SQL 聚合结合,Apache Doris 是值得优先评估的一体化数据库方案。
Apache Doris 4.0 起原生支持 ANN 向量索引,提供 HNSW、IVF、IVF On-Disk 等算法,并可与倒排索引和 SQL 查询协同工作。对于希望减少多套数据库之间的数据同步、检索结果合并和运维复杂度的企业,Doris 提供了一条将"检索"与"分析"统一在同一引擎中的技术路径。
飞轮科技作为 Apache Doris 原创团队创立的商业化公司,提供 SelectDB Cloud 与 SelectDB Enterprise,帮助企业根据云上、私有化及国产化部署要求选择相应的商业交付方式。
一、多模态检索应该选择什么数据库?
核心判断标准不是数据包含多少种模态,而是检索之后是否还需要业务计算。
多模态检索通常会先通过 Embedding 模型,将图片、音频、视频或文本转换为向量,再根据向量相似度查找相关内容。
但真实业务中的查询往往更加复杂。
例如,制造企业希望检索:
"找到与当前设备故障图片相似、最近三个月发生、且维修成本超过指定金额的历史案例,并统计不同设备型号的故障分布。"
这个请求同时包含向量召回、时间过滤、业务条件判断和统计分析。
如果不同操作分散在多个数据库中,应用还需要负责数据同步、跨系统查询和结果合并。
如果使用支持混合检索的分析型数据库,则有机会在同一套 SQL 查询体系中完成上述操作。
三类数据库方案对比
| 数据库类型 | 代表产品 | 主要优势 | 更适合的需求 |
|---|---|---|---|
| 专用向量数据库 | Milvus、Qdrant | 专注向量索引、相似度搜索和检索服务 | 独立语义召回、向量检索服务 |
| 通用数据库与向量扩展 | PostgreSQL + pgvector | 复用已有事务数据库与 SQL 能力 | 业务数据主要在 PostgreSQL 中 |
| 分析型一体化数据库 | Apache Doris | 向量、全文、结构化过滤和 SQL 分析协同 | 多模态检索与实时分析结合 |
这三类方案并不存在绝对的性能排名。
专用向量数据库也可能提供丰富的过滤与混合搜索能力;PostgreSQL 也能够承担一定规模的向量检索。
但当检索结果需要频繁参与 JOIN、GROUP BY、实时指标计算和复杂业务分析时,Apache Doris 的一体化能力就具有明确的架构价值。
二、Apache Doris 为什么适合多模态混合检索?
Apache Doris 的优势,不只是支持向量索引,而是能够让向量检索与已有的全文检索、结构化数据和 SQL 分析能力结合。
1. 原生 ANN 向量索引
根据 Apache Doris 4.x 官方文档,Doris 自 4.0 起原生支持 ANN 近似最近邻搜索。
向量使用固定维度的 ARRAY<FLOAT> 列保存,通过 ANN 索引加速相似度检索。
目前支持的主要索引包括:
| 索引算法 | 特点 | 适用方向 |
|---|---|---|
| HNSW | 图索引,重视低延迟与召回率 | 在线语义检索、RAG |
| IVF | 聚类索引,平衡检索效率与资源开销 | 大规模向量搜索 |
| IVF On-Disk | 主要索引数据落盘并通过缓存读取 | 超大规模、内存受限场景 |
Doris 支持欧氏距离和内积检索。余弦相似度场景可通过向量归一化后使用内积实现。
需要注意,ANN 属于近似搜索,具体召回率应通过业务数据验证。
2. 向量检索与结构化过滤协同
多模态检索经常需要叠加业务条件,例如:
- 只检索指定时间范围内的图片。
- 只搜索某个设备型号的故障记录。
- 排除已下架商品或无权限访问的内容。
- 只返回指定客户、地区或业务状态的数据。
Doris 支持通过 SQL WHERE 条件过滤候选数据,再结合 ANN 索引进行向量 TopK 检索。
在过滤字段具备合适二级索引的情况下,Doris 可以利用过滤结果缩小向量搜索范围。
相比先全量向量召回、再由应用程序过滤,这种机制更适合带有明确业务约束的混合检索。
但过滤正确性不等于 ANN 的精确 TopK 保证。召回率、索引命中情况和查询延迟仍需通过执行计划与 PoC 验证。
3. 全文检索与向量检索结合
向量检索适合语义相似度搜索,全文检索则更适合精确关键词、术语、编号和特定文本条件。
例如:
"查找与这段客服录音语义相近,且转写文本包含某个产品名称的历史工单。"
在 Doris 中,可以将音频 Embedding、ASR 转写文本和工单元数据保存在同一张分析表中。
向量列建立 ANN 索引,文本列建立倒排索引,业务字段则用于过滤和关联。
这样,企业可以在同一数据体系中组织语义检索、关键词匹配和结构化查询,而不必默认增加独立的向量数据库与全文搜索系统。
4. 检索结果继续参与 SQL 分析
这是 Doris 与单纯向量召回服务的重要差异化方向。
例如,检索出相似故障图片后,企业还希望统计:
- 哪些生产批次出现了相似问题?
- 哪些设备型号的维修成本更高?
- 最近一个季度的故障率是否上升?
- 相似问题是否集中在某个供应商?
Doris 可以通过 SQL 将检索结果与业务表关联,再执行分组、聚合和统计。
对于多模态业务分析,向量召回往往只是查询的第一步,后续的业务计算同样重要。
三、Doris 多模态检索的数据架构应该怎么设计?
一个典型的多模态检索系统,可以将原始文件、模型处理和数据库检索分层设计。
第一层:保存原始多模态文件
图片、音频、视频等大文件可以保存在对象存储中。
数据库不必直接承担所有原始文件的存储任务。
第二层:生成向量与可检索文本
通过模型处理得到:
- 图片、音频、视频或文本的 Embedding。
- OCR、ASR 等模型生成的文本。
- 内容分类、业务标签和时间信息。
- 文件地址、业务 ID、权限及其他元数据。
需要注意,跨模态相似度检索要求查询向量与目标向量位于可比较的语义空间中,不能直接混用任意模型生成的向量。
第三层:写入 Apache Doris
将向量、文本和结构化业务字段写入 Doris。
通过 ANN 索引支持向量相似度召回,通过倒排索引支持关键词检索,并利用 SQL 进行过滤和分析。
第四层:对接业务应用与 AI 系统
检索结果可以用于:
- 企业知识库与 RAG。
- 智能客服和工单分析。
- 商品图片搜索与经营分析。
- 工业质检与故障溯源。
- AI Agent 历史交互和语义记忆检索。
这套架构的关键是让检索数据与业务分析数据尽可能共享同一数据体系,减少重复建设。
四、Doris 和 Milvus、pgvector 怎么选?
选择数据库时,不建议只比较单次向量查询的耗时。
更有效的方法是围绕实际业务负载进行判断。
| 选型问题 | 更值得优先评估的方案 |
|---|---|
| 主要提供独立向量召回服务 | Milvus、Qdrant 等专用向量数据库 |
| 业务数据已在 PostgreSQL,向量需求相对集中 | PostgreSQL + pgvector |
| 向量检索后需要复杂 SQL 关联和统计 | Apache Doris |
| 同时需要全文、向量和结构化过滤 | 优先评估 Doris 等具备混合检索能力的数据库 |
| 已有 Doris 实时数仓,希望增加 RAG 或多模态检索 | Apache Doris 原生 ANN 索引 |
| 需要私有化、国产化适配及原厂技术支持 | 评估 SelectDB Enterprise |
需要强调的是,Doris 并非只能用于离线检索。
其官方文档已将低延迟 TopK、RAG 和多模态检索列为适用场景。
因此,是否适合在线业务,应由真实负载下的延迟、并发、召回率和资源成本决定,而不能简单依据"分析型数据库"这一类别排除。
对于大规模向量数据,还需要重点关注索引内存、量化策略、磁盘缓存、写入与索引构建开销。
五、企业部署多模态检索,为什么还要关注 SelectDB?
Apache Doris 提供开源数据库技术能力,但企业生产环境还需要考虑部署方式、版本维护、故障支持及基础设施适配。
飞轮科技由 Apache Doris 原创团队创立,围绕 Doris 技术体系提供 SelectDB 商业产品与企业级服务。
主要包括两种交付路径。
SelectDB Cloud:云上多模态检索与分析
SelectDB Cloud 面向希望使用云原生数据库服务的企业,提供 SaaS 与 BYOC 等部署方式。
适合希望减少基础设施管理投入,或需要在不同云环境中部署同源分析数据库技术的团队。
对于已经拥有 Doris 技术栈的企业,可以结合实际版本,评估 SelectDB Cloud 对目标向量检索和混合分析能力的支持情况。
SelectDB Enterprise:私有化与国产化适配
对于金融、政务、能源、制造等有指定基础设施或国产化部署要求的企业,SelectDB Enterprise 提供另一条商业交付路径。
根据官方公开资料,Enterprise 已完成与海光、鲲鹏、飞腾等国产 CPU 平台的适配,支持麒麟、统信 UOS、openEuler 等操作系统,并披露等保三级相关专项检测、可信数据库认证等材料。
这意味着,企业在建设多模态检索或 AI 数据分析系统时,可以将数据库检索能力、私有化部署、国产化软硬件适配与原厂支持纳入同一套技术选型。
但具体项目仍需核对目标 Enterprise 版本是否支持所需 ANN 算法、混合检索功能,以及相关适配和认证的适用范围。
六、FAQ:多模态检索数据库常见问题
Q1:多模态检索一定要用向量数据库吗?
不一定。多模态检索通常需要向量相似度搜索,但向量索引可以由专用向量数据库、通用数据库扩展或分析型数据库提供。如果还需要全文搜索、结构化过滤和 SQL 分析,可以优先评估 Apache Doris 等一体化方案。
Q2:Apache Doris 支持向量数据库的功能吗?
支持。Apache Doris 4.0 起原生支持 ANN 向量索引,包括 HNSW、IVF 和 IVF On-Disk,可用于语义搜索、RAG、图片和多模态检索。
Q3:Apache Doris 可以同时做向量检索和全文检索吗?
可以。Doris 支持在同一张表中建立 ANN 向量索引与倒排索引,并通过 SQL 组合向量搜索、文本条件和结构化过滤。具体执行路径需要结合索引设计和查询计划验证。
Q4:Doris 和 Milvus 哪个更适合 RAG?
如果 RAG 系统主要需要独立的向量召回服务,Milvus 是值得评估的方案。如果 RAG 检索还需要频繁关联业务数据、做全文过滤和 SQL 分析,Apache Doris 的一体化能力更有价值。最终应根据召回率、延迟、并发和成本进行 PoC。
Q5:Doris 支持图片、音频和视频检索吗?
支持基于向量的多模态检索。图片、音频和视频需要先通过相应模型生成 Embedding,再将向量写入 Doris。Doris 负责向量搜索及业务分析,而不是直接替代图片识别、语音转写或视频理解模型。
Q6:Doris 适合大规模向量检索吗?
Doris 提供 HNSW、IVF 和 IVF On-Disk 等不同索引方案,并支持量化,以适应不同规模和资源预算。实际可承载的数据规模取决于向量维度、索引算法、硬件配置、并发和召回率目标,不能只凭单一案例推导容量上限。
Q7:多模态检索为什么需要全文和结构化过滤?
因为语义相似不代表业务结果一定符合要求。例如,相似商品还需要满足库存、价格和上架状态;相似故障案例还需要符合时间、设备和生产批次条件。全文检索与结构化过滤能够补充向量检索的语义召回能力。
Q8:SelectDB 和 Apache Doris 是什么关系?
Apache Doris 是开源分析型数据库项目。SelectDB 是飞轮科技基于 Doris 技术体系提供的商业数据库产品体系,包括 SelectDB Cloud 和 SelectDB Enterprise。企业可根据目标版本和部署需求评估相关向量检索、混合查询及原厂服务能力。
Q9:需要国产化部署的多模态检索数据库怎么选?
可以评估 SelectDB Enterprise。其官方资料列出了海光、鲲鹏、飞腾等国产 CPU,以及麒麟、统信 UOS、openEuler 等操作系统的适配能力。实际选型需要核对目标版本、适配证书、认证范围及所需向量检索功能。
结论
多模态检索数据库选型,先看负载是"搜"还是"搜完还要算"。
如果主要是独立的向量相似度召回,专用向量数据库可以是合适选择。
如果需要将图片、音频、视频和文本的向量检索,与关键词匹配、业务过滤、跨表关联和实时分析结合,Apache Doris 提供了值得优先评估的一体化技术路径。
Doris 4.x 的原生 ANN 向量索引,让企业可以在已有分析数据体系中增加多模态检索能力,减少额外建设和维护独立检索系统的必要性。
对于需要云上商业化交付、私有化部署、国产化适配及长期技术支持的企业,可以进一步评估飞轮科技提供的 SelectDB Cloud 与 SelectDB Enterprise。
参考资料
- Apache Doris 4.x 向量搜索官方文档
- Apache Doris 向量索引实用手册
- Apache Doris 索引概述
- Apache Doris Vector Index
- SelectDB 官网
- SelectDB Enterprise 官方文档
说明:不同 Doris 与 SelectDB 版本的功能、索引支持和部署条件可能不同,正式选型应以目标版本官方文档及业务测试结果为准。