AI 生成声明:本文内容由 AI 生成或经 AI 辅助完成,请注意甄别。
最近做完一次完整的 ES 索引重建 + 迁移,520 多万条数据,过程中踩了一串很有代表性的坑,整理成这篇记录。
背景
历史原因,文档的创建/修改时间写入 ES 时用的是 epoch_millis 整数,需求改为北京时间字符串(yyyy-MM-dd HH:mm:ss),同时索引 mapping 也要升级(若干 text 字段换成 ik 分词器、date 字段改多格式)。ES 的 mapping 无法原地大改,只能重建索引 ;而业务方要求索引还得用回原来的名字------ES 又不支持索引改名。这就是本次迁移要解决的全部问题。
一、ES 索引"改名"的三种姿势
ES 不支持直接 rename 索引,可选方案:
方案一:别名切换(推荐)
把旧名字变成指向新索引的别名,秒级完成,应用代码零改动:
json
POST /_aliases
{
"actions": [
{ "remove": { "index": "docs_index_old", "alias": "docs_index" } },
{ "add": { "index": "docs_index_new", "alias": "docs_index" } }
]
}
所有程序继续用原名字访问,读写透明地落到新索引。
方案二:_reindex 回迁
删掉旧索引 → 用新 mapping 建同名空索引 → _reindex 把数据从临时索引搬回来。成本是数据要再整体搬一遍,但最终拿到物理名一致的索引。
方案三:新写入直接换名字------对存量数据不适用,略过。
我们的场景因为历史原因必须用物理索引名,选了方案二。如果你的场景能接受别名,强烈建议方案一,别为名字好看再搬一遍数据。
二、时间格式转换:Painless 服务端处理
迁移时要把 epoch_millis 转成东八区字符串。520 万条数据拉回本地逐条转换再写回,太慢了,直接在 _reindex 的 script 里服务端搞定:
json
POST /_reindex
{
"source": { "index": "docs_index_old" },
"dest": { "index": "docs_index_new" },
"script": {
"lang": "painless",
"source": """
def ts = ctx._source.create_time;
if (ts instanceof Number) {
ctx._source.create_time = ZonedDateTime
.ofInstant(Instant.ofEpochMilli(ts), ZoneId.of("Asia/Shanghai"))
.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));
}
"""
}
}
时区显式用 Asia/Shanghai,不依赖运行机器的本地时区,在哪个环境跑结果都一致。
坑 1:date mapping 不支持 time_zone 参数。 我一开始把 "time_zone": "+08:00" 写进了 mapping,创建索引直接报错:
mapper_parsing_exception: unknown parameter [time_zone] on mapper [create_time] of type [date]
time_zone 只是查询时的参数,不能出现在 mapping 里。正确做法就是上面这样在写入值时转好时区。mapping 里 date 字段用双格式兜底:
json
"create_time": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss||epoch_millis"
}
这样即使某个环境的索引没来得及重建,字符串和毫秒数两种写法都能兼容写入,不会因为格式冲突导致整条文档写入失败。
三、_reindex 提速三板斧
520 万条数据,默认配置的 _reindex 是很慢的,三个优化叠加能快好几倍:
python
body = {
"source": {"index": SOURCE, "size": 5000},
"dest": {"index": DEST}
}
es.indices.put_settings(index=DEST, body={
"index": {"refresh_interval": "-1", "number_of_replicas": 0}
})
resp = es.reindex(body=body, wait_for_completion=False,
slices=10, requests_per_second=-1)
1. slices 并行切片。坑 2:slices="auto" 是按源索引分片数并行的 ------如果源索引只有 1 个分片(不显式指定时的默认值),auto 等于单线程 在跑!这种情况要显式给 slices=8~10(ES 7 的 sliced scroll 支持切片数超过分片数)。
2. refresh_interval: -1。 导入期间不每秒强制生成新段,消除 refresh 开销。
3. number_of_replicas: 0。 导入期间不写副本,每条少一倍写入放大。
别忘了收尾恢复 :搬完后把 refresh_interval 调回 1s、number_of_replicas 调回原值并 flush,否则线上索引一直处于无副本无刷新的危险状态。执行期间也要暂停业务写入管道,避免切换窗口内的增量丢失。
另外用 wait_for_completion=False 提交成异步任务再轮询进度,避免长任务触发 HTTP 30 秒超时。
四、进度监控的坑:父任务 status 一直 0/0
迁移脚本跑起来后,轮询 _tasks/<task_id> 打印的进度一直是 0/0,一度以为卡死了。其实:
坑 4:sliced reindex 的父任务 status 不聚合子任务进度(或聚合严重滞后),一直显示 0 是正常现象。
正确的验证姿势是看子任务:
GET /_tasks?actions=*reindex&detailed=true
返回里每个 slice 一个子任务,各自带真实的 total/created/updated,数字在涨就没问题。
坑 5:refresh_interval=-1 期间别用 _count 验证进度。 count 走搜索,看不到未刷新的文档,会一直是 0------这不是异常,是关 refresh 的预期效果。这段时间想确认数据在涨,看 Kibana 索引管理页里的索引体积变化即可(恢复 refresh 后 count 才会一次性出来)。
五、收尾核对与 yellow 状态解读
迁移完成后核对三件事:
-
文档数对比 :
GET index/_count,源索引 5,237,437 = 目标索引 5,237,437,一条不差; -
分片状态 :
GET /_cat/shards/<index>,我的输出是:0 r INITIALIZING node-2
0 p STARTED 5237437 12.5gb node-3
主分片 STARTED 且文档数正确,副本 INITIALIZING 说明正在跨节点同步 12.5GB------这就是索引显示 yellow 的原因,同步完自动变 green。期间照常可以读写,不用等。
顺带一提:如果是单节点集群 ,副本永远无法分配(副本不能和主分片同节点),只要 replicas>0 索引就永远 yellow------无害,也可以干脆设 number_of_replicas: 0 让它变 green。
- 清理:确认数据一致后删除临时索引释放磁盘,再恢复业务写入管道。
总结
- ES 索引"改名"首选别名切换,物理名必须一致才用 reindex 回迁;
- mapping 的 date 字段没有
time_zone参数,时区在写入值时转换;format用双格式兜底新旧写法; _reindex提速三板斧:显式slices(源索引单分片时 auto 无效)、refresh_interval=-1、replicas=0,完成后必须恢复;- sliced reindex 父任务进度显示 0/0 是假象,用
_tasks?actions=*reindex&detailed看子任务; - yellow = 副本未分配/同步中,主分片数据完整可正常读写。
一次迁移把 ES 运维的常见坑基本踩了一遍,希望对要做类似事情的同学有帮助。