通过es索引生命周期策略删除日志索引

通过es索引生命周期策略删除日志索引

在es 7.x版本之后,多了个索引生命周期的概念,可以一系列的设置,给新生成的索引绑定生命周期策略,到期后,索引自动删除。

也可以通过linux定时任务实现,请查看另一篇文章《通过linux定时任务删除es日志索引》

流程

  • 创建索引生命周期策略
  • 创建索引模板,与生命周期策略绑定,匹配新生成的索引,关联索引生命周期

操作

下面的操作也可以通过kibana来完成

创建索引生命周期策略

创建名称为auto_delete_policy 索引生命周期策略,索引7天后,自动删除。测试时,可以设置策略时间短点。

json 复制代码
PUT /_ilm/policy/auto_delete_policy
{
	"policy": {
		"phases": {
			"delete": {
				"min_age": "7d",
				"actions": {
					"delete": {}
				}
			}
		}
	}
}

查询索引生命周期策略

复制代码
GET /_ilm/policy/auto_delete_policy

创建索引模板

索引模板作为中间桥梁,把索引生命周期策略和索引关联起来,这里匹配 my、index 开头,新生成的索引

json 复制代码
PUT _template/elk_template

{
	"index_patterns": [
		"my*",
		"index*"
	],
	"template": {
		"settings": {
			"index": {
				"lifecycle": {
					"name": "auto_delete_policy",
					"indexing_complete": "true"
				}
			}
		}
	}
}

创建索引模板(elk_tempalte),index.lifecycle.name 把上面的自动删除策略绑定到elk索引模板

后来新生成 my-、index- 开头的索引时就会应用这个模板。

indexing_complete:true,必须设为true,跳过HOT阶段的Rollover

查询索引模板

复制代码
GET _template/elk_template

测试

测试设置

生命周期策略默认10分钟检测一次,为了方便测试,这里设为30s。后面改回来就可以了。

json 复制代码
PUT /_cluster/settings
{
	"transient": {
		"indices.lifecycle.poll_interval": "30s"
	}
}

查看索引

查看新生成的索引,有没有关联到索引生命周期策略,

这里查看my-开头的索引情况

复制代码
GET my-*/_ilm/explain

返回

json 复制代码
{
	"indices": {
		"my-2023.08.30": {
			"index": "my-2023.08.30",
			"managed": true,
			"policy": "auto_delete_policy",
			"lifecycle_date_millis": 1693357650166,
			"age": "3.35d",
			"phase": "new",
			"phase_time_millis": 1693357650194,
			"action": "complete",
			"action_time_millis": 1693357650194,
			"step": "complete",
			"step_time_millis": 1693357650194,
			"phase_execution": {
				"policy": "auto_delete_policy",
				"version": 1,
				"modified_date_in_millis": 1692951002180
			}
		}
	}
}

参考官网索引管理章节

相关推荐
岳涛2 小时前
考古|ES 0.90 的 _ttl 让文档到期自动删,2.0 起引擎只做引擎,5.0 清掉内置字段
elasticsearch
wuyk5553 小时前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
岳涛4 小时前
时序|ES 9.1 存下写坏的文档,响应码从 400 变成 201,写入端仍当它成功
elasticsearch
Elasticsearch6 小时前
九条 ES|QL 查询,揭示你的 Foundry agent 的词元消耗去向
elasticsearch
顧棟1 天前
【ES实战】 索引模板「可追溯、可校验」:一种模板治理的工程化思路
java·数据库·elasticsearch
新*1 天前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移
阿里云大数据AI技术2 天前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
大雪冬至686061258872 天前
【一次 Elasticsearch 高基数聚合慢查询的定位与优化】
elasticsearch
Elasticsearch2 天前
Elasticsearch:如何使用 Connectors 接入数据到 Elastic Agent builder 里进行企业搜索
elasticsearch
wuyk5552 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎