云卷云舒:【实战篇】ElasticSearch迁移

构建云原生应用的过程中,对于技术组件的云化选择是非常重要的。

1. 简介

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。Elasticsearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。

2. 迁移原理

快照适用场景:
  • 离线迁移;

  • 源端数据量较大(GB、TB、PB级别)的场景;

  • 同账号下,同区域或跨区域快照数据迁移的场景;

Logstash适用场景:
  • 在线迁移,需要开启白名单;

  • 迁移全量或同步增量数据,对实时性要求不高的场景;

  • 仅对查询结果进行迁移的场景;

  • 需对待迁移数据进行过滤的场景;

  • 版本跨度较大的数据迁移场景,例如5.x迁移到6.x或7.x;

elasticsearch-migration(elasticsearch-exporter)适用场景:
  • 在线迁移,需要开启白名单;

  • 开源工具,安装简单,解压即可使用;

  • 可以部分跨版本;

elasticsearch-dump适用场景:
  • 数据量较小的场景,需要开启白名单。
reindex适用场景:
  • 慢,需要开启白名单。

3. 迁移方案

  • 搭建目标环境

  • 快照备份索引

  • 目标集群重建

相关推荐
Coder_Boy_9 小时前
技术让开发更轻松的底层矛盾
java·大数据·数据库·人工智能·深度学习
2501_944934739 小时前
高职大数据技术专业,CDA和Python认证优先考哪个?
大数据·开发语言·python
九河云10 小时前
5秒开服,你的应用部署还卡在“加载中”吗?
大数据·人工智能·安全·机器学习·华为云
Gain_chance10 小时前
36-学习笔记尚硅谷数仓搭建-DWS层数据装载脚本
大数据·数据仓库·笔记·学习
每日新鲜事11 小时前
热销复盘:招商林屿缦岛203套售罄背后的客户逻辑分析
大数据·人工智能
Gold Steps.11 小时前
OpenEBS — 云原生 CNS 高性能存储
云原生·kubernetes·存储
大雨淅淅12 小时前
Eureka从入门到精通:开启微服务架构的钥匙
微服务·云原生·eureka·架构
AI架构全栈开发实战笔记12 小时前
Eureka 在大数据环境中的性能优化技巧
大数据·ai·eureka·性能优化
AI架构全栈开发实战笔记12 小时前
Eureka 对大数据领域服务依赖关系的梳理
大数据·ai·云原生·eureka
自挂东南枝�12 小时前
政企舆情大数据服务平台的“全域洞察中枢”
大数据