Milvus 基本概念

Milvus 使用 包含 java 和 python

知道特征向量是什么

向量又称为 embedding vector,是指由embedding技术从离散变量(如xxx等各种非结构化数据)转变而来的连续向量。在数学表示上,向量是一个由浮点数或者二值型数据组成的 n 维数组。通过现代的向量转化技术,比如各种人工智能(AI)或者机器学习(ML)模型,可以将非结构化数据抽象为 n 维特征向量空间的向量。这样就可以采用最近邻算法(ANN)计算非结构化数据之间的相似度。

Milvus 是向量数据库

主要用于存储、索引和管理通过深度神经网络和机器学习模型产生的海量向量数据。

Collection 等价 数据库的表

Collection 包含一组 entity。

Entity

实体包含一组 field

Field

field 与实际对象相对应。

Segment 段

Milvus 在数据插入时通过合并数据自动创建的数据文件。一个 collection 可以包含多个 segment。一个 segment 可以包含多个 entity。在搜索中,Milvus 会搜索每个 segment,并返回合并后的结果。

分片

将数据写入操作分散到不同节点上,使 Milvus 能充分利用集群的并行计算能力进行写入。默认情况下单个 collection 包含 2 个分片(shard)。目前 Milvus 采用基于主键哈希的分片方式,未来将支持随机分片、自定义分片等更加灵活的分片方式。

分区

把 collection 中的数据根据一定规则在物理存储上分成多个部分。这种对 collection 数据的划分就叫分区(partitioning)。每个 partition 可包含多个segment。

归一化

归一化指的是通过数学变换将向量的模长变为 1 的过程。如需使用点积计算向量相似度,则必须对向量作归一化处理。处理后点积与余弦相似度等价。

索引

索引基于原始数据构建,可以提高对 collection 数据搜索的速度。

向量

一种类型的 field,代表对象的特征。非结构化数据可以通过各种 AI 模型和 embedding 技术转化为向量。

Milvus是一个面向向量的存储引擎,主要用于存储、索引和管理通过深度神经网络和机器学习模型产生的海量向量数据。在Milvus中,数据被存储为向量,向量由embedding技术从离散变量(如图片、文本等)转变而来,是n维浮点数或者二值型数据组成的数组。Collection等价于数据库中的表,它包含了一组entity(实体),实体包含了一组field。Segment是在数据插入时通过合并数据自动创建的数据文件。一个Collection可以包含多个Segment,而一个Segment可以包含多个Entity。分片是将数据写入操作分散到不同节点上,使Milvus能够充分利用集群的并行计算能力进行写入。分区是根据一定规则将Collection中数据在物理存储上分成多个部分。归一化是将向量模长变为1的过程。索引是基于原始数据构建,可以提高数据搜索的速度。向量是一种类型的field,代表对象的特征,非结构化数据可以通过各种AI模型和embedding技术转化为向量。

相关推荐
吴佳浩10 分钟前
Python入门指南-AI模型相似性检测方法:技术原理与实现
人工智能·python·llm
kebijuelun29 分钟前
百度文心 4.5 大模型详解:ERNIE 4.5 Technical Report
人工智能·深度学习·百度·语言模型·自然语言处理·aigc
算家计算36 分钟前
ComfyUI-v0.3.43本地部署教程:新增 Omnigen 2 支持,复杂图像任务一步到位!
人工智能·开源
新智元40 分钟前
毕业 7 年,身价破亿!清北 AI 天团血洗硅谷,奥特曼被逼分天价股份
人工智能·openai
新智元1 小时前
刚刚,苹果大模型团队负责人叛逃 Meta!华人 AI 巨星 + 1,年薪飙至 9 位数
人工智能·openai
Cyltcc1 小时前
如何安装和使用 Claude Code 教程 - Windows 用户篇
人工智能·claude·visual studio code
吹风看太阳2 小时前
机器学习16-总体架构
人工智能·机器学习
moonsims2 小时前
全国产化行业自主无人机智能处理单元-AI飞控+通信一体化模块SkyCore-I
人工智能·无人机
MUTA️2 小时前
ELMo——Embeddings from Language Models原理速学
人工智能·语言模型·自然语言处理
海豚调度3 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源