云卷云舒:【实战篇】ElasticSearch迁移

构建云原生应用的过程中,对于技术组件的云化选择是非常重要的。

1. 简介

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。Elasticsearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。

2. 迁移原理

快照适用场景:
  • 离线迁移;

  • 源端数据量较大(GB、TB、PB级别)的场景;

  • 同账号下,同区域或跨区域快照数据迁移的场景;

Logstash适用场景:
  • 在线迁移,需要开启白名单;

  • 迁移全量或同步增量数据,对实时性要求不高的场景;

  • 仅对查询结果进行迁移的场景;

  • 需对待迁移数据进行过滤的场景;

  • 版本跨度较大的数据迁移场景,例如5.x迁移到6.x或7.x;

elasticsearch-migration(elasticsearch-exporter)适用场景:
  • 在线迁移,需要开启白名单;

  • 开源工具,安装简单,解压即可使用;

  • 可以部分跨版本;

elasticsearch-dump适用场景:
  • 数据量较小的场景,需要开启白名单。
reindex适用场景:
  • 慢,需要开启白名单。

3. 迁移方案

  • 搭建目标环境

  • 快照备份索引

  • 目标集群重建

相关推荐
sp_fyf_202423 分钟前
计算机人工智能前沿进展-大语言模型方向-2024-09-20
人工智能·搜索引擎·语言模型
2401_840192271 小时前
在k8s中,客户端访问服务的链路流程,ingress--->service--->deployment--->pod--->container
云原生·容器·kubernetes
A133038145361 小时前
电商店群模式如何利用云分账实现自动化资金管理
大数据
_.Switch2 小时前
构建现代应用的Python Serverless架构详解
运维·开发语言·python·云原生·架构·serverless·restful
小诸葛的博客2 小时前
istio中使用serviceentry结合egressgateway实现多版本路由
云原生·istio
CS数模3 小时前
2024 “华为杯” 中国研究生数学建模竞赛(D题)深度剖析|大数据驱动的地理综合问题|数学建模完整代码+建模过程全解全析
大数据·数学建模·华为
陈吉俊3 小时前
实时流处理框架(如Flink、Spark Streaming)
大数据
@听风吟3 小时前
力扣之182.查找重复的电子邮箱
大数据·javascript·数据库·sql·leetcode
福大大架构师每日一题3 小时前
16.2 k8s容器基础资源指标讲解
云原生·容器·kubernetes·prometheus
周湘zx3 小时前
k8s中的微服务
linux·运维·服务器·微服务·云原生·kubernetes