milvus元数据在etcd的存储解析
数据以key-value形式存在。
大致包含如下一些种类:
- database
- collection
- field
- partition
- index
- segment-index
- resource_group
- session
database
创建一个数据库会产生2个key，但value是相同的。
key规则:
-
前缀/root-coord/database/db-info/{dbID}
-
前缀/snapshots/root-coord/database/db-info/{dbID}_ts{时间戳}
默认数据库名为default，dbID为1。
ID和时间戳都是一串数字，由physicalTime+logicalTime组成。
创建一个名为testdb01的数据库，产生的2个key如下：
shell
by-dev/meta/root-coord/database/db-info/444381061892856434
by-dev/meta/snapshots/root-coord/database/db-info/444381061892856434_ts444383983389376515444381061892856434为dbid。这个ID可以进行tso解析。
value结构如下:
将此结构体使用protobuf序列化后存入到etcd，因此etcd存储的是二进制数据。
collection
创建一个collection会产生2个key，但value是相同的。
key规则：
-
前缀/root-coord/database/collection-info/{dbID}/{collectionID}
-
前缀/snapshots/root-coord/database/collection-info/{dbID}/{collectionID}_ts{时间戳}
可以反映出collection属于哪个DB。
在testdb01下创建一个名为testcol01的collection，产生如下2个key:
-
by-dev/meta/root-coord/database/collection-info/444381061892856434/444384207423931210
-
by-dev/meta/snapshots/root-coord/database/collection-info/444381061892856434/444384207423931210_ts444384251124908036
value结构如下:
将此结构体序列化后存入到etcd，因此etcd存储的是二进制数据。
field
创建collection的时候会创建field，一个field会产生2个key，但value是相同的。
key规则：
-
前缀/root-coord/fields/{collectionID}/{fieldID}
-
前缀/snapshots/root-coord/fields/{collectionID}/{fieldID}_ts{时间戳}
可以反映field属于哪个collection。虽然并未反应出属于哪个db，但是collectionID是唯一的，也可以通过collectionID判断出属于那个db。这样不同的db下面有相同名称的collection就可以区别了。
一个field就是一个字段。
创建一个名为testcol01的collection，包含2个field（hid和embedding）产生的key如下:
hid字段:
-
by-dev/meta/root-coord/fields/444384207423938951/100
-
by-dev/meta/snapshots/root-coord/fields/444384207423938951/100_ts444384154740064260
embedding字段:
-
by-dev/meta/root-coord/fields/444384207423938951/101
-
by-dev/meta/snapshots/root-coord/fields/444384207423938951/101_ts444384154740064260
value结构如下:
将此结构体序列化后存入到etcd，因此etcd存储的是二进制数据。
partition
创建一个分区会产生2个key，但value是相同的。
key规则：
-
前缀/root-coord/partitions/{collectionID}/{partitionID}
-
前缀/snapshots/root-coord/partitions/{collectionID}/{partitionID}_ts{时间戳}
可以反映partition属于哪个collection。
一个collection可以包含多个partition。
默认partition名为:_default。
可配置(milvus.yml):common.defaultPartitionName
在名为testcol01的collection下包含1个partition，产生如下2个key:
-
by-dev/meta/root-coord/partitions/444384963133177989/444384963133177990
-
by-dev/meta/snapshots/root-coord/partitions/444384963133177989/444384963133177990_ts444384154740064260
value结构如下:
将此结构体序列化后存入到etcd，因此etcd存储的是二进制数据。
index
创建index会产生2个类型的key。一个是index，一个是segment-index。
key规则：
- 前缀/field-index/{collectionID}/{IndexID}
可以反映index属于哪个collection。Index的value可以反映索引建立在哪个field。
不能反映属于哪个partition、哪个segment。
创建一个名为idx_embedding的索引，产生1个类型的key如下:
- by-dev/meta/field-index/444384207423931210/444425876914135276
value结构如下：
将此结构体序列化后存入到etcd，因此etcd存储的是二进制数据。
segment-index
创建index会产生2个类型的key。一个是index，一个是segment-index。
key规则：
- 前缀/segment-index/{collectionID}/{partitionID}/{segmentID}/{buildID}
创建一个名为idx_embedding的索引，产生1个类型的key如下:
- by-dev/meta/segment-index/444517122896489678/444517122896489679/444517122896489694/444521062292259541
value结构如下:
将此结构体序列化后存入到etcd，因此etcd存储的是二进制数据。
resource_group
资源组可以用来进行查询节点的物理隔离。
在多collection环境中，为每个资源组分配适当数量的查询节点，应用到collection中
key规则：
- 前缀/queryCoord-ResourceGroup/{rgName}
创建一个名为rg的资源组，产生如下1个key:
- by-dev/meta/queryCoord-ResourceGroup/rg
value结构如下:
将此结构体序列化后存入到etcd，因此etcd存储的是二进制数据。