Milvus知识

1.Milvus中,多租户方案

Milvus 支持四个级别的多租户:数据库、Collection、Partition 和Partition Key。

数据库:最多64个数据库(64个租户)

Collections :每个 Collections 拥有自己的 Schema,同一个数据库下最多可容纳 65,536 个 Collection,Collection相当于表

Partition : 每个 Collections最多1,024 个分区,默认为default分区,可以crud分区,将实体插入分区,指定collection_name和partition_name:

Partition Key:如果指定一个,标量字段作为 Partition Key 时,Milvus会自定在Collection 中创建 16 个Partition 分区。还可以指定分区数量num_partitions

2.过期时间

可以在Collections 级别设置TTL过期时间,过期的实体不会被搜索到,但会默认在内存在保留24个小时.

以秒为单位的整数

3.Milvus 提供四种不同 GuaranteeTs 的一致性级别。

对一致性要求较高,设置为强(有延迟),希望能快速返回的设置小点。

强:使用最新的时间戳作为 GuaranteeTs,查询节点必须等到服务时间满足 GuaranteeTs 后才能执行搜索请求。

会话:客户端插入数据的最新时间点被用作 GuaranteeTs,这样查询节点就能对客户端插入的所有数据执行搜索。

有限制的停滞(默认的):GuranteeTs 设置为早于最新时间戳的时间点,以便查询节点在执行搜索时能容忍一定的数据丢失。

最终:GuaranteeTs 设置为极小值(如 1),以避免一致性检查,这样查询节点就可以立即对所有批次数据执行搜索请求。

4. 常见的相识度算法

Milvus 支持这些类型的相似性度量:欧氏距离 (L2)、内积 (IP)、余弦相似度 (COSINE)和BM25 (专门为稀疏向量的全文检索而设计)

5. JSON 索引

地址

Milvus 可以添加Json类型的字段,但是如果没有指定索引的情况下,对 JSON 字段的查询需要全 Collection 扫描,随着数据集的增长,扫描速度也会变慢。

创建json 索引的要求:

1.具有一致、已知键的结构化 Schema

2.特定 JSON 路径上的等价和范围查询

3.需要精确控制索引键的情况

4.对目标查询进行高效存储加速

相关推荐
安审若无6 小时前
oracel迁移数据文件至其他目录操作步骤
数据库
sunxunyong6 小时前
doris运维命令
java·运维·数据库
小鸡吃米…6 小时前
Python PyQt6教程七-控件
数据库·python
忍冬行者7 小时前
清理三主三从redis集群的过期key和键值超过10M的key
数据库·redis·缓存
TimberWill7 小时前
使用Redis队列优化内存队列
数据库·redis·缓存
Knight_AL8 小时前
MySQL 中 UPDATE 语句的执行过程全解析
数据库·mysql
yngsqq8 小时前
兰顿蚂蚁——CAD二次开发
数据库
梁萌9 小时前
ShardingSphere分库分表实战
数据库·mysql·实战·shardingsphere·分库分表
川石课堂软件测试9 小时前
Mysql中触发器使用详详详详详解~
数据库·redis·功能测试·mysql·oracle·单元测试·自动化
鹏说大数据9 小时前
数据治理项目实战系列6-数据治理架构设计实战,流程 + 工具双架构拆解
大数据·数据库·架构