520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录

AI 生成声明:本文内容由 AI 生成或经 AI 辅助完成,请注意甄别。

最近做完一次完整的 ES 索引重建 + 迁移,520 多万条数据,过程中踩了一串很有代表性的坑,整理成这篇记录。

背景

历史原因,文档的创建/修改时间写入 ES 时用的是 epoch_millis 整数,需求改为北京时间字符串(yyyy-MM-dd HH:mm:ss),同时索引 mapping 也要升级(若干 text 字段换成 ik 分词器、date 字段改多格式)。ES 的 mapping 无法原地大改,只能重建索引 ;而业务方要求索引还得用回原来的名字------ES 又不支持索引改名。这就是本次迁移要解决的全部问题。

一、ES 索引"改名"的三种姿势

ES 不支持直接 rename 索引,可选方案:

方案一:别名切换(推荐)

把旧名字变成指向新索引的别名,秒级完成,应用代码零改动:

json 复制代码
POST /_aliases
{
  "actions": [
    { "remove": { "index": "docs_index_old", "alias": "docs_index" } },
    { "add":    { "index": "docs_index_new", "alias": "docs_index" } }
  ]
}

所有程序继续用原名字访问,读写透明地落到新索引。

方案二:_reindex 回迁

删掉旧索引 → 用新 mapping 建同名空索引 → _reindex 把数据从临时索引搬回来。成本是数据要再整体搬一遍,但最终拿到物理名一致的索引。

方案三:新写入直接换名字------对存量数据不适用,略过。

我们的场景因为历史原因必须用物理索引名,选了方案二。如果你的场景能接受别名,强烈建议方案一,别为名字好看再搬一遍数据。

二、时间格式转换:Painless 服务端处理

迁移时要把 epoch_millis 转成东八区字符串。520 万条数据拉回本地逐条转换再写回,太慢了,直接在 _reindex 的 script 里服务端搞定:

json 复制代码
POST /_reindex
{
  "source": { "index": "docs_index_old" },
  "dest":   { "index": "docs_index_new" },
  "script": {
    "lang": "painless",
    "source": """
      def ts = ctx._source.create_time;
      if (ts instanceof Number) {
        ctx._source.create_time = ZonedDateTime
          .ofInstant(Instant.ofEpochMilli(ts), ZoneId.of("Asia/Shanghai"))
          .format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));
      }
    """
  }
}

时区显式用 Asia/Shanghai,不依赖运行机器的本地时区,在哪个环境跑结果都一致。

坑 1:date mapping 不支持 time_zone 参数。 我一开始把 "time_zone": "+08:00" 写进了 mapping,创建索引直接报错:

复制代码
mapper_parsing_exception: unknown parameter [time_zone] on mapper [create_time] of type [date]

time_zone 只是查询时的参数,不能出现在 mapping 里。正确做法就是上面这样在写入值时转好时区。mapping 里 date 字段用双格式兜底:

json 复制代码
"create_time": {
  "type": "date",
  "format": "yyyy-MM-dd HH:mm:ss||epoch_millis"
}

这样即使某个环境的索引没来得及重建,字符串和毫秒数两种写法都能兼容写入,不会因为格式冲突导致整条文档写入失败。

三、_reindex 提速三板斧

520 万条数据,默认配置的 _reindex 是很慢的,三个优化叠加能快好几倍:

python 复制代码
body = {
    "source": {"index": SOURCE, "size": 5000},
    "dest":   {"index": DEST}
}
es.indices.put_settings(index=DEST, body={
    "index": {"refresh_interval": "-1", "number_of_replicas": 0}
})
resp = es.reindex(body=body, wait_for_completion=False,
                  slices=10, requests_per_second=-1)

1. slices 并行切片。坑 2:slices="auto" 是按源索引分片数并行的 ------如果源索引只有 1 个分片(不显式指定时的默认值),auto 等于单线程 在跑!这种情况要显式给 slices=8~10(ES 7 的 sliced scroll 支持切片数超过分片数)。

2. refresh_interval: -1。 导入期间不每秒强制生成新段,消除 refresh 开销。

3. number_of_replicas: 0。 导入期间不写副本,每条少一倍写入放大。

别忘了收尾恢复 :搬完后把 refresh_interval 调回 1s、number_of_replicas 调回原值并 flush,否则线上索引一直处于无副本无刷新的危险状态。执行期间也要暂停业务写入管道,避免切换窗口内的增量丢失。

另外用 wait_for_completion=False 提交成异步任务再轮询进度,避免长任务触发 HTTP 30 秒超时。

四、进度监控的坑:父任务 status 一直 0/0

迁移脚本跑起来后,轮询 _tasks/<task_id> 打印的进度一直是 0/0,一度以为卡死了。其实:

坑 4:sliced reindex 的父任务 status 不聚合子任务进度(或聚合严重滞后),一直显示 0 是正常现象。

正确的验证姿势是看子任务:

复制代码
GET /_tasks?actions=*reindex&detailed=true

返回里每个 slice 一个子任务,各自带真实的 total/created/updated,数字在涨就没问题。

坑 5:refresh_interval=-1 期间别用 _count 验证进度。 count 走搜索,看不到未刷新的文档,会一直是 0------这不是异常,是关 refresh 的预期效果。这段时间想确认数据在涨,看 Kibana 索引管理页里的索引体积变化即可(恢复 refresh 后 count 才会一次性出来)。

五、收尾核对与 yellow 状态解读

迁移完成后核对三件事:

  1. 文档数对比 :GET index/_count,源索引 5,237,437 = 目标索引 5,237,437,一条不差;

  2. 分片状态 :GET /_cat/shards/<index>,我的输出是:

    0 r INITIALIZING node-2
    0 p STARTED 5237437 12.5gb node-3

主分片 STARTED 且文档数正确,副本 INITIALIZING 说明正在跨节点同步 12.5GB------这就是索引显示 yellow 的原因,同步完自动变 green。期间照常可以读写,不用等。

顺带一提:如果是单节点集群 ,副本永远无法分配(副本不能和主分片同节点),只要 replicas>0 索引就永远 yellow------无害,也可以干脆设 number_of_replicas: 0 让它变 green。

  1. 清理:确认数据一致后删除临时索引释放磁盘,再恢复业务写入管道。

总结

  • ES 索引"改名"首选别名切换,物理名必须一致才用 reindex 回迁;
  • mapping 的 date 字段没有 time_zone 参数,时区在写入值时转换;format 用双格式兜底新旧写法;
  • _reindex 提速三板斧:显式 slices(源索引单分片时 auto 无效)、refresh_interval=-1、replicas=0,完成后必须恢复;
  • sliced reindex 父任务进度显示 0/0 是假象,用 _tasks?actions=*reindex&detailed 看子任务;
  • yellow = 副本未分配/同步中,主分片数据完整可正常读写。

一次迁移把 ES 运维的常见坑基本踩了一遍,希望对要做类似事情的同学有帮助。

相关推荐
吴名氏.1 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
csdn_aspnet10 小时前
Docker MySql 5.7、MySql8.x 进阶配置
mysql·docker·容器
黑客笔记11 小时前
python小工具win7翻车事故现场
python
岁月宁静13 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
benchmark_cc13 小时前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
ZhengEnCi14 小时前
项目越写越乱?先别改架构:用一次目录重排 + 一份可复算的体检脚本把乱治住
python·架构·ai编程
阿里云大数据AI技术15 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
Dmz丶15 小时前
前端转 AI 100 天 Day 45:阶段复盘——从“会调 API”到“做出 AI 产品”
python
Sakura_j_h_15 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver