云卷云舒:【实战篇】ElasticSearch迁移

在构建云原生应用的过程中,对于技术组件的云化选择是非常重要的。

1. 简介

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。Elasticsearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。

2. 迁移原理

快照适用场景:
  • 离线迁移;

  • 源端数据量较大(GB、TB、PB级别)的场景;

  • 同账号下,同区域或跨区域快照数据迁移的场景;

Logstash适用场景:
  • 在线迁移,需要开启白名单;

  • 迁移全量或同步增量数据,对实时性要求不高的场景;

  • 仅对查询结果进行迁移的场景;

  • 需对待迁移数据进行过滤的场景;

  • 版本跨度较大的数据迁移场景,例如5.x迁移到6.x或7.x;

elasticsearch-migration(elasticsearch-exporter)适用场景:
  • 在线迁移,需要开启白名单;

  • 开源工具,安装简单,解压即可使用;

  • 可以部分跨版本;

elasticsearch-dump适用场景:
  • 数据量较小的场景,需要开启白名单。
reindex适用场景:
  • 慢,需要开启白名单。

3. 迁移方案

  • 搭建目标环境

  • 快照备份索引

  • 目标集群重建

相关推荐
分布式存储与RustFS4 分钟前
OpenObserve 的日志别堆本地盘:用 RustFS 当它的对象存储底座
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Elasticsearch1 小时前
使用 SpiceDB 为 Elasticsearch 检索增强生成实现细粒度授权
elasticsearch
挖掘狂人2 小时前
Token 都上双十一货架了,AI 电脑的账该怎么算?
大数据·程序员·ai编程
新*2 小时前
ES 7.17 三节点 Docker 集群接入 IK 自定义词典:一次从丢插件到热更新的完整排障
运维·elasticsearch·docker·中文分词·ik分词
Black蜡笔小新2 小时前
消防控制室/配电房/中控室...视频汇聚平台EasyCVR岗位AI智能监测方案守住关键岗位
大数据·音视频·easycvr
大大大大晴天16 小时前
每天认识一个组件:Apache Spark
大数据
新*17 小时前
Elasticsearch 7.17 的 SQL 到底能查到什么?一次踩坑记录
后端·sql·elasticsearch·查询
阿里云云原生18 小时前
11月14日杭州见丨COSCon’26 第十一届中国开源年会,阿里云四场 Agent 技术分享
云原生
阿里云云原生19 小时前
关于 DeepSeek 的 SuperAgent,以及我们的实践
云原生·agent
mengge.cloud20 小时前
prometheus+k8s+弹性伸缩,综合项目
云原生·容器·kubernetes·prometheus