Milvus知识

1.Milvus中,多租户方案

Milvus 支持四个级别的多租户:数据库、Collection、Partition 和Partition Key。

数据库:最多64个数据库(64个租户)

Collections :每个 Collections 拥有自己的 Schema,同一个数据库下最多可容纳 65,536 个 Collection,Collection相当于表

Partition : 每个 Collections最多1,024 个分区,默认为default分区,可以crud分区,将实体插入分区,指定collection_name和partition_name:

Partition Key:如果指定一个,标量字段作为 Partition Key 时,Milvus会自定在Collection 中创建 16 个Partition 分区。还可以指定分区数量num_partitions

2.过期时间

可以在Collections 级别设置TTL过期时间,过期的实体不会被搜索到,但会默认在内存在保留24个小时.

以秒为单位的整数

3.Milvus 提供四种不同 GuaranteeTs 的一致性级别。

对一致性要求较高,设置为强(有延迟),希望能快速返回的设置小点。

强:使用最新的时间戳作为 GuaranteeTs,查询节点必须等到服务时间满足 GuaranteeTs 后才能执行搜索请求。

会话:客户端插入数据的最新时间点被用作 GuaranteeTs,这样查询节点就能对客户端插入的所有数据执行搜索。

有限制的停滞(默认的):GuranteeTs 设置为早于最新时间戳的时间点,以便查询节点在执行搜索时能容忍一定的数据丢失。

最终:GuaranteeTs 设置为极小值(如 1),以避免一致性检查,这样查询节点就可以立即对所有批次数据执行搜索请求。

4. 常见的相识度算法

Milvus 支持这些类型的相似性度量:欧氏距离 (L2)、内积 (IP)、余弦相似度 (COSINE)和BM25 (专门为稀疏向量的全文检索而设计)

5. JSON 索引

地址

Milvus 可以添加Json类型的字段,但是如果没有指定索引的情况下,对 JSON 字段的查询需要全 Collection 扫描,随着数据集的增长,扫描速度也会变慢。

创建json 索引的要求:

1.具有一致、已知键的结构化 Schema

2.特定 JSON 路径上的等价和范围查询

3.需要精确控制索引键的情况

4.对目标查询进行高效存储加速

相关推荐
Hoshino.414 小时前
基于Linux中的数据库操作——下载与安装(1)
linux·运维·数据库
Oueii5 小时前
Django全栈开发入门:构建一个博客系统
jvm·数据库·python
未来龙皇小蓝5 小时前
【MySQL-索引调优】11:Group by相关概念
数据库·mysql·性能优化
2401_831824966 小时前
使用Fabric自动化你的部署流程
jvm·数据库·python
njidf6 小时前
Python日志记录(Logging)最佳实践
jvm·数据库·python
twc8296 小时前
大模型生成 QA Pairs 提升 RAG 应用测试效率的实践
服务器·数据库·人工智能·windows·rag·大模型测试
@我漫长的孤独流浪6 小时前
Python编程核心知识点速览
开发语言·数据库·python
2401_851272996 小时前
实战:用Python分析某电商销售数据
jvm·数据库·python
枕布响丸辣6 小时前
MySQL 从入门到精通:完整操作手册与实战指南
数据库·mysql
电商API&Tina6 小时前
【电商API接口】开发者一站式电商API接入说明
大数据·数据库·人工智能·云计算·json