INFINI Gateway 助力联想集团 ES 迁移升级

近日接到联想公司小伙伴消息,因为安全原因需要把两套 ES 5 集群迁移升级到 ES 7 集群。我们一起梳理了需求和方案，决定采用 INFINI Console 加 INFINI Gateway 进行数据迁移，这个方案的好处如下：

1. UI 界面操作，方便、快捷
2. 支持目的端索引改名
3. 支持复制源索引的 mapping 和 setting
4. 对于大数据量的索引，可以 range 迁移，还可以 partition 分区。将大的迁移任务拆分成多个小任务，便于并发处理和错误重试
5. 一键写入优化，为了加快迁移速度，可以一键给目标端索引设置写入优化参数
6. 迁移时处理 type 问题，改成 _doc
7. 集成了数据比对功能，增强迁移信心

当然,迁移过程中还遇到了一些其他问题：

1. mapping.nested_fields.limit 超限，因为在 ES 5 中这个是不做限制的，在 ES 7 中默认限制 100000。导数前先修改，确保导入不报错。
2. 有些数据中有"\n"特殊符号，导致 bulk 写入报错。这个提前让开发进行数据修复，去掉特殊字符。
3. 报错"body size exceeds the given limit"，修改 ES http.max_content_length 大小。

最后还有个问题，源端和目标端不在一个机房，对比数据因为 scroll 拉去数据不全，总是失败，怎么办？

哈哈，下次分解。