在Kibana上新增Elasticsearch生命周期管理

技术文章大纲:在Kibana上新增Elasticsearch生命周期管理

引言

Elasticsearch索引生命周期管理(ILM)是管理索引从创建到删除全周期的核心工具。通过Kibana界面配置ILM策略,可以自动化处理索引的滚动、收缩、冻结和删除等操作,显著提升运维效率。

理解Elasticsearch生命周期管理

Elasticsearch ILM包含四个核心阶段:热阶段(Hot)、温阶段(Warm)、冷阶段(Cold)、删除阶段(Delete)。每个阶段可以定义不同的动作和条件,例如热阶段通常用于高频读写,冷阶段适合长期存储低频访问数据。

准备工作

确保Kibana和Elasticsearch版本兼容,通常需7.0及以上版本。验证集群节点角色分配,ILM操作需要具备数据节点和主节点。检查用户权限,配置ILM策略需manage_ilm权限。

通过Kibana界面创建ILM策略

登录Kibana后进入Stack Management > Index Lifecycle Policies,点击Create policy。填写策略名称和描述,选择阶段配置。热阶段设置滚动更新条件如最大文档数或索引存活时间,温阶段可配置forcemergeshrink操作。

默认选择热阶段

点击删除按钮 配置留存的时间,上述配置代码保留30天以内的数据,超过三十天的会移入到删除阶段等待删除。

配置阶段动作与转换条件

热阶段通常设置rollover动作,触发条件可以是max_sizemax_docsmax_age。温阶段添加allocate动作指定节点属性,冷阶段启用freeze降低资源消耗。删除阶段设置保留天数或文档数阈值。

应用ILM策略到索引模板

Index Management > Index Templates中创建或编辑模板,关联已定义的ILM策略。模板需匹配目标索引名称模式,例如logs-*。验证模板优先级和模式冲突,确保新索引自动应用策略。

查看添加

代码添加索引模板

测试与验证

手动创建测试索引匹配模板规则,触发滚动条件观察阶段转换。通过GET _ilm/explain/<index-name>API检查状态。监控Kibana的ILM执行历史面板排查错误,常见问题包括权限不足或阶段条件未满足。

结语

合理配置ILM策略能够显著降低运维复杂度,建议定期审查策略与实际数据增长模式的匹配度。随着业务变化动态调整阶段参数,平衡性能和成本需求。

相关推荐
Elasticsearch14 分钟前
打通 AI Agent 落地生产的“最后一步”:Elastic Stack 中的 Human-in-the-Loop (HITL) 审批工作流实战
elasticsearch
Csxyzj17 分钟前
Nginx:企业高性能web服务器(一)
运维·服务器·nginx
Eloudy20 分钟前
sunshine - ubuntu 22.04, moonlight - mac OS26 远程桌面
linux·运维·ubuntu
旗开得胜马到成功24 分钟前
工控系统备份的底层技术解析:老旧协议、零停机窗口与中科热备的专项破局
运维·服务器·vr
AC赳赳老秦27 分钟前
企业标签体系搭建:基于 OpenClaw 采集的多维度公开数据,构建企业画像标签库
java·运维·服务器·python·信息可视化·deepseek·openclaw
苍狗T27 分钟前
K8s 集群实战:基于 Harbor 私有仓库 + cri‑dockerd 完整部署
linux·运维·云原生·容器·kubernetes
明王明王31 分钟前
从零搭建一个单节点 K8S 可观测实验室(十二):告警与故障注入——从 Pending、Firing 到故障恢复
云原生·容器·kubernetes
EXI-小洲34 分钟前
Docker 容器部署 EMQX|MQTT 消息代理服务安装与配置教程
运维·mqtt·docker·emqx
石小千35 分钟前
X86下载 ARM 架构的包
linux·运维
殷忆枫37 分钟前
嵌入式Linux下基于FFmpeg实现MP4解码为JPG图片(SSD202D交叉编译实战)
linux·运维·ffmpeg