【Elasticsearch】索引生命周期转换

在Elasticsearch中,索引生命周期管理(ILM)的生命周期转换是通过定义的生命周期策略(policy)自动触发的。这些策略定义了索引在不同阶段(如 hot 、 warm 、 cold 、 frozen 和 delete )的行为和触发条件[^0^]。

索引生命周期转换的触发机制

  1. Rollover(滚动):当索引达到预设的大小、文档数量或年龄时,触发滚动操作,创建一个新的写入索引[^2^]。例如,在 hot 阶段,可以设置 max_age 为30天或 max_primary_shard_size 为50GB,当索引达到这些条件之一时,滚动操作会被触发[^3^]。

  2. Phase Transition(阶段转换):索引在达到某个阶段的 min_age 后,会自动进入下一个阶段[^5^]。例如,索引在 hot 阶段滚动后,经过30天会进入 warm 阶段,此时可以执行压缩(shrink)或强制合并(forcemerge)操作[^6^]。

  3. Delete(删除):当索引达到 delete 阶段的 min_age 时,索引会被永久删除[^8^]。

如何设置触发条件通过ILM策略定义: 创建ILM策略时,需要明确指定每个阶段的触发条件和操作。

例如:json

PUT _ilm/policy/my_policy

{

"policy": {

"phases": {

"hot": {

"actions": {

"rollover": {

"max_age": "30d",

"max_primary_shard_size": "50GB"

}

}

},

"delete": {

"min_age": "90d",

"actions": {

"delete": {}

}

}

}

}

}

在这个策略中,索引在达到30天或50GB时会触发滚动操作,而在滚动后90天会被删除[^9^]。

应用ILM策略到索引模板: 创建索引模板时,将ILM策略应用到模板中,确保新创建的索引自动使用该策略[^11^]。

监控生命周期转换使用Elasticsearch的 _ilm/explain API可以查看索引的生命周期状态,包括当前阶段和正在执行的操作。

例如:

GET _ilm/explain

{

"index": "my_index-*"

}

这将返回索引的生命周期状态,帮助确认ILM策略是否按预期工作。

注意事项ILM策略中的 min_age 是相对于滚动时间而不是索引创建时间计算的[^12^]。

所有集群节点必须运行相同版本的Elasticsearch,否则ILM策略可能无法正常工作[^13^]。

通过这些机制,Elasticsearch的ILM能够自动管理索引的生命周期,确保数据在不同阶段的高效存储和管理。

相关推荐
完美世界的一天14 小时前
ES面试题系列「一」
大数据·elasticsearch·搜索引擎·面试·全文检索
好吃的肘子15 小时前
ElasticSearch入门详解
java·大数据·elasticsearch·搜索引擎·云原生
极小狐20 小时前
如何从极狐GitLab 容器镜像库中删除容器镜像?
java·linux·开发语言·数据库·python·elasticsearch·gitlab
A-花开堪折1 天前
RK3568-OpenHarmony(1) : OpenHarmony 5.1的编译
大数据·elasticsearch·搜索引擎
斯普信专业组2 天前
Elasticsearch内存管理与JVM优化:原理剖析与最佳实践
大数据·jvm·elasticsearch
SelectDB技术团队2 天前
可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse
大数据·数据仓库·clickhouse·elasticsearch·信息可视化·doris·半结构化
斯普信云原生组3 天前
Elasticsearch知识汇总之ElasticSearch部署
大数据·elasticsearch·jenkins
老友@3 天前
MySQL 与 Elasticsearch 数据一致性方案
数据库·mysql·elasticsearch·搜索引擎·同步·数据一致性
斯普信云原生组3 天前
Elasticsearch知识汇总之ElasticSearch与OpenSearch比较
大数据·elasticsearch·搜索引擎
老友@3 天前
MySQL + Elasticsearch:为什么要使用ES,使用场景与架构设计详解
数据库·mysql·elasticsearch·搜索引擎·性能优化·系统架构