milvus元数据在etcd的存储解析

milvus元数据在etcd的存储解析

数据以key-value形式存在。

大致包含如下一些种类:

  • database
  • collection
  • field
  • partition
  • index
  • segment-index
  • resource_group
  • session

database

创建一个数据库会产生2个key,但value是相同的。

key规则:

  • 前缀/root-coord/database/db-info/{dbID}

  • 前缀/snapshots/root-coord/database/db-info/{dbID}_ts{时间戳}

默认数据库名为default,dbID为1。

ID和时间戳都是一串数字,由physicalTime+logicalTime组成。

创建一个名为testdb01的数据库,产生的2个key如下:

shell 复制代码
by-dev/meta/root-coord/database/db-info/444381061892856434

by-dev/meta/snapshots/root-coord/database/db-info/444381061892856434_ts444383983389376515

444381061892856434为dbid。这个ID可以进行tso解析。

value结构如下:

将此结构体使用protobuf序列化后存入到etcd,因此etcd存储的是二进制数据。

collection

创建一个collection会产生2个key,但value是相同的。

key规则:

  • 前缀/root-coord/database/collection-info/{dbID}/{collectionID}

  • 前缀/snapshots/root-coord/database/collection-info/{dbID}/{collectionID}_ts{时间戳}

可以反映出collection属于哪个DB。

在testdb01下创建一个名为testcol01的collection,产生如下2个key:

  • by-dev/meta/root-coord/database/collection-info/444381061892856434/444384207423931210

  • by-dev/meta/snapshots/root-coord/database/collection-info/444381061892856434/444384207423931210_ts444384251124908036

value结构如下:

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

field

创建collection的时候会创建field,一个field会产生2个key,但value是相同的。

key规则:

  • 前缀/root-coord/fields/{collectionID}/{fieldID}

  • 前缀/snapshots/root-coord/fields/{collectionID}/{fieldID}_ts{时间戳}

可以反映field属于哪个collection。虽然并未反应出属于哪个db,但是collectionID是唯一的,也可以通过collectionID判断出属于那个db。这样不同的db下面有相同名称的collection就可以区别了。

一个field就是一个字段。

创建一个名为testcol01的collection,包含2个field(hid和embedding)产生的key如下:

hid字段:

  • by-dev/meta/root-coord/fields/444384207423938951/100

  • by-dev/meta/snapshots/root-coord/fields/444384207423938951/100_ts444384154740064260

embedding字段:

  • by-dev/meta/root-coord/fields/444384207423938951/101

  • by-dev/meta/snapshots/root-coord/fields/444384207423938951/101_ts444384154740064260

value结构如下:

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

partition

创建一个分区会产生2个key,但value是相同的。

key规则:

  • 前缀/root-coord/partitions/{collectionID}/{partitionID}

  • 前缀/snapshots/root-coord/partitions/{collectionID}/{partitionID}_ts{时间戳}

可以反映partition属于哪个collection。

一个collection可以包含多个partition。

默认partition名为:_default。

可配置(milvus.yml):common.defaultPartitionName

在名为testcol01的collection下包含1个partition,产生如下2个key:

  • by-dev/meta/root-coord/partitions/444384963133177989/444384963133177990

  • by-dev/meta/snapshots/root-coord/partitions/444384963133177989/444384963133177990_ts444384154740064260

value结构如下:

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

index

创建index会产生2个类型的key。一个是index,一个是segment-index。

key规则:

  • 前缀/field-index/{collectionID}/{IndexID}

可以反映index属于哪个collection。Index的value可以反映索引建立在哪个field。

不能反映属于哪个partition、哪个segment。

创建一个名为idx_embedding的索引,产生1个类型的key如下:

  • by-dev/meta/field-index/444384207423931210/444425876914135276

value结构如下:

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

segment-index

创建index会产生2个类型的key。一个是index,一个是segment-index。

key规则:

  • 前缀/segment-index/{collectionID}/{partitionID}/{segmentID}/{buildID}

创建一个名为idx_embedding的索引,产生1个类型的key如下:

  • by-dev/meta/segment-index/444517122896489678/444517122896489679/444517122896489694/444521062292259541

value结构如下:

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

resource_group

资源组可以用来进行查询节点的物理隔离。

在多collection环境中,为每个资源组分配适当数量的查询节点,应用到collection中

key规则:

  • 前缀/queryCoord-ResourceGroup/{rgName}

创建一个名为rg的资源组,产生如下1个key:

  • by-dev/meta/queryCoord-ResourceGroup/rg

value结构如下:

将此结构体序列化后存入到etcd,因此etcd存储的是二进制数据。

相关推荐
琳少_4 小时前
java程序开发笔记
java·开发语言·数据库·笔记
Pocker_Spades_A7 小时前
工业物联网时序数据库选型:一份能直接抄走的技术规格书
数据库·物联网·时序数据库
苜蓿muxu8 小时前
缓存三大问题:穿透、击穿、雪崩
数据库·redis
正在走向自律9 小时前
MySQL兼容性深度实践:建表、增删改查与迁移避坑全记录
数据库·sql·mysql·信创·数据库迁移
隔窗听雨眠10 小时前
openGauss开源五年的内核演进与生态工程
数据库·opengauss·国产数据库
Decay__10 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构
沐知全栈开发11 小时前
基于ClinicalTrials公开数据的临床试验分析系统-毕业设计
数据库·课程设计
半杯咖啡半行码12 小时前
Qt 隐式共享(Implicit Sharing)深度解析:机制、陷阱与 Qt6迁移
开发语言·数据库·qt
Nturmoils12 小时前
空值、日期、字符串:业务 SQL 里的函数先跑一遍
数据库
倔强的石头_15 小时前
数据库选型四步法:我把候选从十几个缩到两个
数据库