Milvus 基本概念

Milvus是一个开源的向量相似度搜索引擎,它提供了高效的向量索引和快速的相似度搜索功能。Milvus具有可扩展性强、高速度、高精度和易于使用等特点,被广泛应用于各种大规模向量数据的相似度搜索和相似度匹配任务中。

本文将介绍Milvus的基本概念,包括向量、向量索引、相似度搜索和Milvus的工作流程等内容。

一、向量

在Milvus中,向量是指由一组数字构成的有序列表,用于表示实体或数据点。向量的维度即向量中数字的数量,是一个重要的指标。Milvus支持任意维度的向量,但通常情况下,向量的维度越高,计算和存储的开销就越大。

例如,一个二维向量可以表示平面上的一个点,三维向量可以表示空间中的一个点,而更高维度的向量可以表示更复杂的特征或属性。

在Milvus中,向量通常存储在向量集合(Collection)中,一个向量集合可以包含多个向量。向量集合是相似度搜索的基本单位,可以根据需要创建多个不同的向量集合。

二、向量索引

向量索引是指将向量集合中的向量按照某种方式组织起来,以便进行高效的相似度搜索。在Milvus中,采用了多种向量索引算法,包括IVF、HNSW、NSG等。

IVF(Inverted File)算法是一种常用的向量索引算法,它将向量集合划分成多个倒排文件,在查询时可以通过倒排文件快速定位到包含候选向量的索引桶,然后在桶内进行精确的相似度计算。

HNSW(Hierarchical Navigable Small World)算法是一种基于图的向量索引算法,它通过构建一个多层的图结构,将向量集合中的向量映射到不同的图节点中。在查询时,HNSW算法可以通过跳转到相邻节点来快速定位到包含候选向量的图节点,在节点内进行相似度计算。

NSG(Navigating Spreading-out Graph)算法也是一种基于图的向量索引算法,它通过构建一个有向无环图来表示向量的相似关系。在查询时,NSG算法可以通过沿着图的边进行扩散搜索,快速找到与查询向量相似的向量。

三、相似度搜索

相似度搜索是指在向量集合中查找与给定查询向量最相似的向量。Milvus提供了多种相似度搜索的方法,包括向量查询和向量范围查询。

向量查询是指根据给定的查询向量,在向量集合中查找与之最相似的向量。Milvus采用了多种相似度计算方法,包括欧氏距离、余弦相似度等指标,用户可以根据需要选择适合的相似度计算方法。

向量范围查询是指在给定的范围内查找与查询向量相似度在一定阈值范围内的向量,可以用于查找相似度高于某个阈值的向量。

四、Milvus的工作流程

在使用Milvus进行相似度搜索时,通常需要经过以下几个步骤:

  1. 创建向量集合:首先,需要创建一个向量集合,用于存储向量数据。

  2. 插入向量:将向量数据插入到向量集合中。

  3. 建立索引:为向量集合建立索引,以便进行高效的相似度搜索。

  4. 执行相似度搜索:根据需要,执行相似度搜索操作,查找与给定查询向量最相似的向量。

  5. 获取结果:获取相似度搜索的结果,可以是单个最相似的向量或多个相似度高于阈值的向量。

  6. 删除向量:如果需要,可以从向量集合中删除指定的向量。

  7. 重建索引:如果向量集合发生变化,可以重建索引以保持索引的有效性。

总结

本文介绍了Milvus的基本概念,包括向量、向量索引、相似度搜索和Milvus的工作流程。通过了解这些概念,可以更好地理解和使用Milvus进行大规模向量数据的相似度搜索和相似度匹配任务。

需要注意的是,Milvus是一个开源项目,具有强大的可扩展性和灵活性,可以根据具体需求进行调整和定制。

相关推荐
SuniaWang2 小时前
Vue 3 + Spring Boot 21 全栈 RAG 项目Docker Compose 容器化部署
vue.js·人工智能·spring boot·spring·阿里云·docker·milvus
装不满的克莱因瓶2 天前
【从零搭建】SpringAI Alibaba + RAG + Milvus + Qwen 项目实战
人工智能·ai·大模型·milvus·rag·springai·向量库
云溪·3 天前
Milvus向量数据库混合检索召回案例
python·ai·milvus
爱搜光年医疗GEO4 天前
《踩坑记录:用 Milvus 标量过滤剔除“无执业资质”医疗语料的一次向量检索优化》
milvus·ai搜索优化·geo优化·爱搜光年geo·医疗行业geo
堕落年代4 天前
Meilisearch核心搜索逻辑与主流向量搜索引擎(Elasticsearch、Milvus)深度对比
elasticsearch·搜索引擎·milvus
阿梦Anmory4 天前
快速部署Milvus 2.6.4单机版向量数据库(Docker Compose方式)
数据库·docker·milvus
fusugongzi6 天前
milvus数据库安装
数据库·milvus
SuniaWang20 天前
Milvus 深度解析:为 AI 而生的云原生向量数据库
数据库·人工智能·milvus
£漫步 云端彡20 天前
安装 Milvus Standalone 模式的完整指南及常见问题解决
milvus
寂寞旅行1 个月前
向量数据库Milvus的使用
数据库·milvus