Milvus向量数据库-数据备份与恢复

前言

随着Milvus版本的持续迭代，越来越多的用户将其作为构建生产环境的向量数据服务使用。作为数据服务使用，其中的运维、数据安全、容灾备份自然是用户最关心且不容有失的需求。为解决这一需求，Milvus-backup项目工具应运而生。

Milvus-bakcup是Zilliz专门为Milvus向量数据库开发的数据备份与恢复的工具。它不同于Milvus向量数据库Attu图形管理工具和ANN算法可视化工具Feder。

下面会具体介绍Milvus-backup工具的使用方法。

一、Mi lvus-backup 工具功能简介

Milvus-backup工具支持以下工作能力：

1.支持命令行和Restful API的多种交互方式;

2.支持热备份，对Milvus集群运行几乎没有影响;

3.支持集群全量备份和指定collection(集合)备份;

4.可通过bulkinsert实现备份与恢复，并可以恢复时重命令collection(集合);

5.支持S3，支持跨bucket备份，可以实现集群间迁移;

6.支持Milvus2.2.0+的版本;

7.目前只支持备份数据，不备份索引数据;

二、Milvus-backup工具设计思路

2 .1 、Milvus -backup 的编程语言

Milvus-backup是使用go语言实现的，部分逻辑直接拷贝 Milvus 源码，保证最大程度的兼容性和操作习惯的一致性。

2 .2 、Milvus -backup 工具的交互方式

Milvus-bakcup支持多种交互使用方法，如下：

2.2. 1、命令行方式

考虑备份工具使用的主要用户，是对Milvus的运维开发人员，命令行是最简便直接的使用方式，Milvus-backup基于cobra框架实现了命令行。

2 .2.2 、Restfu l API 方式

Milvus-backup 还提供 Restful API，便于工具服务化，并提供了友好的 Swagger UI。

Milvus-backup主要包含以下接口，分别是备份（backup）和恢复（restore）的主要操作:

备份（b ackup ）：

1.CreateBackup

2.GetBackup

3.ListBackups

4.DeleteBackup

恢复（restore） :

1.RestoreBackup

2.GetRestore

详情可参考：Milvus-bakcup

2.2. 3、Go module 方式

因为Milvus-backup工具是go语言开发的，所以还可以作为go module集成到其他工具之中。例如，未来我们会提供all in one的Milvus工具箱，将包括Milvus-backup在内的运维工具一起打包。

三、实现原理

熟悉Milvus向量数据库的运维人员都知道，Milvus目前使用 etcd存储元数据的（以下称为 metadata），使用对象存储（minio、S3 等）存储真实数据（以下称为 storage）。

未来，Milvus可能会支持更多的存储介质，如 MySQL、Alluxio、HDFS 等，在设计上要考虑兼容性。

因此本次我们采用备份与恢复的方案是：

1 、备份环节

Metadata不直接调用etcd接口，而是通过Milvus SDK获取必要信息，存储到自定义的backup metadata文件中，backup metadata使用json格式，便于观察和适配；

storage通过调用存储SDK直接复制数据到指定路径，备份数据和原数据几乎保持相同路径结构，降低理解成本。

在备份的时候，工具会调用Milvus的flush接口来获得备份的快照时间戳，这是备份环节唯一会影响Milvus集群的地方，但影响很小。

2、恢复环节

不直接操作metadata和storage，而是调用Milvus SDK重新创建collection，通过2.2.0新推出的bulkinsert功能，将数据批量插入到新建collection中，因此逻辑上备份恢复得到的是一张新表，只不过与原表数据内容一致。

四、操作方法

熟悉了以上对Milvus-backup工具的介绍后，可以对其进行实操了。

因为Milvus-backup工具是go语言开发的，所以该工具有2种方式安装：源码编译和二进制。

在安装Milvus-backup工具之前，需要准备好Milvus向量数据库，具体安装方法可以参照之前写的：安装Milvus向量数据库。

注：本次的操作是对milvus单机模式进行的备份与恢复操作方法，集群的方法还在研究中。

4 .1 、Milvus -backup 工具安装

本次安装我采用的是二进制的安装方法，如果大家不想用二进制方法安装，可以选择源码编译的方法进行安装配置。

如果采用源码编译的方法进行安装的话，需要先配置go环境，再使用go进行编译，具体可以查看本文最后：第六节中的源码安装milvus-backup。

4 .1.1 、M ilvus - backup 工具下载

Milvus-backup工具地址：https://github.com/zilliztech/milvus-backup/releases

大家一定要根据自己的Milvus向量数据库版本去选择Milvus-backup工具的对应版本，如果版本选择不对的话，在进行备份或恢复时，会有失败的的情况发生。

下面是针对Milvus-backup工具版本对应的Milvus向量数据库版本的对应选择。

|------------------|-------------------|
| Milvus向量数据库版本 | Milvus-backup工具版本 |
| v2.3.0 and above | v0.4.0 and above |
| v2.2.9 and above | v0.3.0 and above |
| v2.2.0 to v2.2.8 | v0.1.0 to v0.2.2 |

我自己的Milvus向量数据库为：2.3.20版本，我分别选择了Milvus-backup的0.4.20和0.4.21。

下载时要同时下载二进制文件和源码文件，彩用的是二进制方法安装，为什么要还要下载源码文件呢？因为使用milvus-backup工具进行备份或恢复时，需要一个backup.yaml的配置文件，二进制包中没有该配置文件。

还有一个相对来说比较重要的就是，建好milvus向量数据库，如果没有创建collection可以使用源码包example目录下写好的python程序，prepare_data.py（准备数据）、clean_data.py（清理数据）、verify_data.py（验证数据）进行数据的生产，不需要自己再写一遍程序进行数据准备等工作。

如下图是milvus-backup工具的安装包，大家可以根据自己主机的情况选择对应的安装包即可。

4 .1.2 、解压m ilvus-backup

解压之前，要先创建milvus-backup的工作目录和日志目录，这个大家可以根据自己实际情况进行自定义。