【Elasticsearch】索引生命周期转换

在Elasticsearch中,索引生命周期管理(ILM)的生命周期转换是通过定义的生命周期策略(policy)自动触发的。这些策略定义了索引在不同阶段(如 hot 、 warm 、 cold 、 frozen 和 delete )的行为和触发条件[^0^]。

索引生命周期转换的触发机制

  1. Rollover(滚动):当索引达到预设的大小、文档数量或年龄时,触发滚动操作,创建一个新的写入索引[^2^]。例如,在 hot 阶段,可以设置 max_age 为30天或 max_primary_shard_size 为50GB,当索引达到这些条件之一时,滚动操作会被触发[^3^]。

  2. Phase Transition(阶段转换):索引在达到某个阶段的 min_age 后,会自动进入下一个阶段[^5^]。例如,索引在 hot 阶段滚动后,经过30天会进入 warm 阶段,此时可以执行压缩(shrink)或强制合并(forcemerge)操作[^6^]。

  3. Delete(删除):当索引达到 delete 阶段的 min_age 时,索引会被永久删除[^8^]。

如何设置触发条件通过ILM策略定义: 创建ILM策略时,需要明确指定每个阶段的触发条件和操作。

例如:json

PUT _ilm/policy/my_policy

{

"policy": {

"phases": {

"hot": {

"actions": {

"rollover": {

"max_age": "30d",

"max_primary_shard_size": "50GB"

}

}

},

"delete": {

"min_age": "90d",

"actions": {

"delete": {}

}

}

}

}

}

在这个策略中,索引在达到30天或50GB时会触发滚动操作,而在滚动后90天会被删除[^9^]。

应用ILM策略到索引模板: 创建索引模板时,将ILM策略应用到模板中,确保新创建的索引自动使用该策略[^11^]。

监控生命周期转换使用Elasticsearch的 _ilm/explain API可以查看索引的生命周期状态,包括当前阶段和正在执行的操作。

例如:

GET _ilm/explain

{

"index": "my_index-*"

}

这将返回索引的生命周期状态,帮助确认ILM策略是否按预期工作。

注意事项ILM策略中的 min_age 是相对于滚动时间而不是索引创建时间计算的[^12^]。

所有集群节点必须运行相同版本的Elasticsearch,否则ILM策略可能无法正常工作[^13^]。

通过这些机制,Elasticsearch的ILM能够自动管理索引的生命周期,确保数据在不同阶段的高效存储和管理。

相关推荐
秋已杰爱19 小时前
技术准备十五:Elasticsearch
大数据·elasticsearch·搜索引擎
starandsea1 天前
gitlab解决传过大文件后删除导致pack过大问题
大数据·elasticsearch·gitlab
大海绵啤酒肚1 天前
EL(F)K日志分析系统
运维·elasticsearch·云计算
Elasticsearch2 天前
如何在 AWS EC2 上安装和配置 Elasticsearch
elasticsearch
Elasticsearch2 天前
Elastic AI agent builder 介绍(二)
elasticsearch
维尔切2 天前
ELK日志系统部署与使用(Elasticsearch、Logstash、Kibana)
elk·elasticsearch·jenkins·kibana·logstash
帅帅梓2 天前
ELK es+logstash
大数据·elk·elasticsearch
Elasticsearch3 天前
Elastic Observability 中的 Streams 如何简化保留管理
elasticsearch