ES集群数据备份与迁移

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


前言

言简意赅,本篇文章解决的问题是:当一个es集群中有数据,需要将数据迁移到另外一个es集群,或者是需要将es中的数据备份。(理论上单机es也可以实现功能,且可能不会有文章涉及的报错信息)


一、文章涉及概念讲解

1. snapshot :使用 Elasticsearch 提供的 snapshot 功能,将数据快照保存到本地或者远程存储库中。
2. snapshot repository :,指定要备份的数据在哪里存储。
3. restore:使用 Elasticsearch 提供的 restore 功能,将备份的数据恢复到新的Elasticsearch集群中。

二、操作步骤

前置条件: es集群能够正常启动;kibana也能够正常运行,能够在5601端口访问kibana提供的客户端。

1.创建 snapshot repository

java 复制代码
# 创建仓库
PUT /_snapshot/my_backup
{
  "type": "fs",
  "settings": {
    "compress" : "true",
    "location": "/opt/soft/kibana-7.3.1/backup"
  }
}

需要注意的是,这里的location需要配置在es的配置文件中,也就是elasticsearch.yml中。(对于es集群的架构,则每个es服务上,都要添加此配置)

配置仓库地址 :数组的形式,可以配置多个地址。

配置成功后,需要重新启动es集群。


此时,重新执行创建仓库的代码,可能仍然会报错:(单机es可能不会报错)
repository_verification_exception:is not shared between this node and the master node or that permissions on the store don't allow reading files written by the master node

json 复制代码
{"error":{"root_cause":[{"type":"repository_verification_exception","reason":"[my_backup] [[mu3vPb-eTBeom4ElNsSeoQ, 'RemoteTransportException[[node-1][10.10.77.100:9300][internal:admin/repository/verify]]; nested: RepositoryVerificationException[[my_backup] a file written by master to the store [/home/es/elasticsearch-5.1.1/data/bak] cannot be accessed on the node [{node-1}{mu3vPb-eTBeom4ElNsSeoQ}{gCm1zrtWT12WzrjFiVDGrQ}{10.10.77.100}{10.10.77.100:9300}]. This might indicate that the store [/home/es/elasticsearch-5.1.1/data/bak] is not shared between this node and the master node or that permissions on the store don't allow reading files written by the master node];'],...

先介绍一下我目前的架构,es集群是一主二从,分别是hadoop1、hadoop2、hadoop3,其中hadoop1是主机,因此,kibana只部署在hadoop1的主机上。首先发请求创建仓库的文件夹是必须存在的,且三台主机上都需要存在这个目录。

也就是:

然后就重点来分析一下这个问题,由于es和kibana是不支持root用户启动服务的,因此往往我们会创建一个新用户,并赋予这个用户es和kibana目录下的操作权限,由这个用户来管理es和kibana服务(这里创建了名为"es"的普通用户)。由于创建仓库涉及三台机器上的backup目录文件修改,因此,我认为问题可能在于es无法免密登录其它两台从机,并没有权限修改其它两台机器上的backup目录。(当然root用户是可以实现免密登录的)

因此,解决方法可以从多个方面考虑,例如:1. 配置使用root用户启动es和kibana的服务... 2. 配置es用户免密登录,并赋予修改文件权限

以上的方法是否可行,暂无去亲自实践。本次解决问题的方法是:使用nfs服务器,实现三台机器的backup文件内容共享。

操作主机hadoop1

a. 安装 NFS 服务器所需的软件包

bash 复制代码
yum install -y nfs-utils

b. 编辑exports文件,添加从机挂载目录以及地址信息

bash 复制代码
vim /etc/exports


rw表示可读写;sync表示同步写

c. 启动nfs服务

bash 复制代码
#rpcbind做开机启动
systemctl enable rpcbind.service
#启动rpcbind服务
systemctl start rpcbind.service
systemctl enable nfs-server.service
systemctl start nfs-server.service

d. 确认NFS服务器启动成功

bash 复制代码
rpcinfo -p | grep nfs

e. 检查 NFS 服务器是否挂载我们想共享的目录

bash 复制代码
exportfs

分别操作从机hadoop2和hadoop3

a. 首先是安裝nfs,同上

bash 复制代码
yum install -y nfs-utils

b. 启动rpcbind服务 (客户端不需要启动nfs服务)

bash 复制代码
#rpcbind做开机启动
systemctl enable rpcbind.service
#启动rpcbind服务
systemctl start rpcbind.service

c. 从机上使用 mount 挂载服务器端的目录(首先得在从机上创建目录,如果不存在的话)

bash 复制代码
# 在hadoop2和hadoop3上分别执行(其中192.168.220.200为hadoop1的ip)
mount -t nfs 192.168.220.200:/opt/soft/kibana-7.3.1/backup /opt/soft/kibana-7.3.1/backup

d. 查看挂载情况

bash 复制代码
df -h


现在应该就可以重新执行创建仓库的代码了:

2. 查看仓库信息

java 复制代码
GET /_snapshot?pretty

3. 备份索引,生成快照

java 复制代码
# my_backup:仓库名称;snapshot_1:快照名称
PUT /_snapshot/my_backup/snapshot_1


查看备份数据

java 复制代码
GET /_snapshot/my_backup/snapshot_1

生成快照后,备份文件夹里就可以查看到对应的信息了:

其中,index-0 存放了快照的基本信息,meta-xxx.dat 以及snap-xxx.dat 应该就是实际存放的数据。

4. 数据迁移

迁入地集群也需要配置elasticsearch.yml文件,增加path.repo的配置。目标ES集群中也需要创建repository。

将备份文件复制到新的Elasticsearch集群中的同一个位置。

在新的es集群创建一个相同的 snapshot repository,用于存储恢复的数据。

数据恢复

java 复制代码
# 数据拷贝后,目标主机执行
# 恢复备份的数据到新的Elasticsearch集群中。
# indices 指定恢复索引的名称
POST /_snapshot/my_backup/snapshot_1/_restore
{
  "indices": [        
        "log",
        "file",
        "exception",
        ".tasks",
        ".kibana_task_manager"],
  "ignore_unavailable": true,
  "include_global_state": false,
  "rename_pattern": "index_(.+)",
  "rename_replacement": "restored_index_$1"
}

以上就是将一个es集群的数据迁移到另一个es集群的步骤。注意,在进行数据迁移前,需要确保es的版本一致,否则可能会导致索引不兼容或者其他问题。


相关DSL

java 复制代码
# 创建仓库
PUT /_snapshot/my_backup
{
  "type": "fs",
  "settings": {
    "compress" : "true",
    "location": "/opt/soft/kibana-7.3.1/backup"
  }
}

# 查看仓库信息(ok)
GET /_snapshot?pretty

# 备份索引,生成快照(ok)
PUT /_snapshot/my_backup/snapshot_2

# 查看备份快照数据(ok)
GET /_snapshot/my_backup/snapshot_1

# ---

# 创建一个 snapshot,将索引数据备份到指定的存储库中。
PUT /_snapshot/my_backup/snapshot_3?wait_for_completion=true

# 恢复所有索引
POST /_snapshot/my_backup/snapshot_1/_restore?wait_for_completion=true

# 恢复备份的数据到新的Elasticsearch集群中。
# indices 指定恢复索引的名称
POST /_snapshot/my_backup/snapshot_/_restore
{
  "indices": [        
        "log",
        "file",
        "exception",
        ".tasks",
        ".kibana_task_manager"],
  "ignore_unavailable": true,
  "include_global_state": false,
  "rename_pattern": "index_(.+)",
  "rename_replacement": "restored_index_$1"
}

# ---
# 查看所有索引
GET _cat/indices?v&pretty

# 删除所有索引
DELETE /_all
DELETE /.kibana
DELETE /file

总结

本篇文章仅供学习和参考,如有涉及侵权,请及时联系笔者!

参考文章:

  1. elasticsearch的数据迁移
  2. es单机数据迁移到另一个es单机
相关推荐
努力转型的IT小王8 个月前
ELK-介绍及Elasticsearch集群搭建
大数据·linux·运维·elk·elasticsearch·架构·es集群
运维@小兵1 年前
Linux部署elasticsearch集群
linux·elasticsearch·es集群
王卫东1 年前
ES索引重建reindex详解
elasticsearch·reindex·es数据迁移