【技术】记一次 Docker 中的 ES 数据迁移,使用 Reindex API

记一次 Docker 中的 ES 数据迁移,使用 Reindex API

首先声明,是因为环境限制,没有办法使用同步工具,不得已才使用 Reindex API 进行数据同步的。

环境背景

  • Linux
  • Docker:20
  • ElasticSearch:8

需求背景

老的 ES 在 Docker 安装的时候设置的内存太小,导致数据量过大时查询直接内存溢出,容器挂掉。原计划是修改老 ES 的内存配置,奈何最开始安装的时候没有进行挂接,进入到容器中也无法修改,就连 Docker 容器的 json 文件都改了,也不行。所以就直接启动了一个新的 ES 容器,这下把能挂接的目录都挂到宿主机上,方便后续修改。现在问题来了,之前的数据怎么办?要么忍痛割爱,等着系统同步,要么数据迁移。果断选择后者,谁让喜欢折腾呢。

开始迁移

确认老 ES 的访问地址

  • 情况1: 因为老 ES 安装的时候直接使用的主机模式,所以直接用宿主机的IP和对应端口就行。
  • 情况2: 没有使用主机模式,得先查看 Docker 给 ES 分配的 IP 地址。使用docker inspect <容器ID/名称> 查看容器信息。找到NetworkSettings -> NetWorks -> bridge -> IPAddress就可以看到 Docker 给 ES 分配的 IP 地址。

在新 ES 中创建索引的 Mapping (选配)

ES 在数据迁移的时候会自动创建索引,但是 Mapping 不会创建,所以有必要的话可以先在新 ES 中创建索引,并添加 Mapping。如果不需要可以跳过此步骤。

bash 复制代码
curl -X PUT "http://<ES_HOST>:9200/new_index?pretty" -H 'Content-Type: application/json' -d'
{
  "settings": { /* 自定义设置 */ },
  "mappings": { /* 自定义映射 */ }
}
'

在新 ES 中配置老 ES 的地址

编辑 elasticsearch.yml

yaml 复制代码
cluster:
  remote:
    old_cluster:
      seeds: "<源集群容器IP>:9300"

添加配置后,重启容器生效。重启命令:docker restart <容器ID/名称>

开始迁移数据

重启之后,请求新 ES 地址,开始同步数据

bash 复制代码
curl -X POST "http://目标ES_HOST:9200/_reindex?pretty" -H 'Content-Type: application/json' -d'
{
  "source": {
    "remote": { "host": "http://源ES_HOST:9200" },
    "index": "old_index",
    "size": 5000  // 每批迁移文档数
  },
  "dest": { "index": "new_index" }
}
'

如果 ES 有安全认证,需要在 remote 属性中添加认证属性;

json 复制代码
"remote": {
  "host": "http://源ES_HOST:9200",
  "headers": { "Authorization": "ApiKey <Base64编码的API密钥>" }
}

数据验证

bash 复制代码
curl -X GET "http://<ES_HOST>:9200/new_index/_count?pretty" -H 'Content-Type: application/json' -d'
{ "query": { "match_all": {} } }
'

PS:curl 可能用着不舒服,使用 postman 也是可以的,只需要把{}的内容作为请求的 body传递即可,注意改成 JSON 类型。

相关推荐
极限实验室7 小时前
使用 Docker Compose 简化 INFINI Console 与 Easysearch 环境搭建
数据库·docker·devops
牧天白衣.9 小时前
Docker相关内容
docker·容器·eureka
2401_836836599 小时前
k8s配置管理
云原生·容器·kubernetes
一切顺势而行9 小时前
k8s 使用docker 安装教程
docker·容器·kubernetes
澜兮子9 小时前
k8s-服务发布基础
云原生·容器·kubernetes
Andy杨9 小时前
20250707-2-第二章:Kubernetes 核心概念-K8s集群架构,生产部署K8s两_笔记
docker·容器
小安运维日记10 小时前
CKS认证 | Day4 最小化微服务漏洞
安全·docker·微服务·云原生·容器·kubernetes
2401_8368365910 小时前
k8s服务发布进阶
云原生·容器·kubernetes
bigFish啦啦啦12 小时前
docker proxy
docker
果子⌂12 小时前
容器技术入门之Docker环境部署
linux·运维·docker