链接追踪系列-00.es设置日志保存7天-番外篇

索引生命周期策略

ELK日志我们一般都是按天存储,例如索引名为"zipkin-span-2023-03-24",因为日志量所占的存储是非常大的,我们不能一直保存,而是要定期清理旧的,这里就以保留7天日志为例。

自动清理7天以前的日志可以用定时任务的方式,这样就需要加入多一个定时任务,可能不同服务记录的索引名又不一样,这样用定时任务配还是没那么方便。

ES给我们提供了一个索引的生命周期策略(lifecycle),就可以对索引指定删除时间,能很好解决这个问题。

索引生命周期分为四个阶段:HOT(热)=>WARM(温)=》COLD(冷)=>DELETE(删除)

给索引设生命周期策略(ILM)

这里为ELK日志超过7天的自动删除,所以只需要用到DELETE(删除阶段)

创建一个自动删除策略(auto_delete_policy):

delete:删除阶段,7天执行删除索引动作

bash 复制代码
PUT _ilm/policy/auto_delete_policy
{
  "policy": {
    "phases": {
      "delete": {
        "min_age": "7d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

查看策略:GET _ilm/policy/

bash 复制代码
#创建索引模板:索引模板可以匹配索引名称,匹配到的索引名称按这个模板创建mapping
PUT _template/elk_template
{
  "index_patterns": ["zipkin*"],
  "settings": {
    "index":{
      "lifecycle":{
        "name":"auto_delete_policy",
        "indexing_complete":true
      }
    }
  }
}

说明:创建索引模板(elk_template),index.lifecycle.name把上面的自动删除策略绑定到elk索引模板

创建zipkin开头的索引时就会应用这个模板。

indexing_complete:true,必须设为true,跳过HOT阶段的Rollover

#查看模板:

GET /_template/

测试效果:

为了立刻知道演示结果,这里测试时把DELETE的日期又7天"7d"改为1分钟"1m"

bash 复制代码
PUT _ilm/policy/auto_delete_policy
{
  "policy": {
    "phases": {
      "delete": {
        "min_age": "1m",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}
bash 复制代码
#生命周期策略默认10分钟检测一次,为了方便测试,这里设为30s
PUT /_cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval":"30s"
  }
}

启动相关项目:把链路追踪日志写入到es:(查看 演示zipkin 篇)

#查看zipkin开头索引的生命周期策略:

GET zipkin*/_ilm/explain

#也可以在es中搜索到:

#经过一分钟后: 没有了(删除了)

#演示成功!最后把过期时间重新改成7d

bash 复制代码
PUT _ilm/policy/auto_delete_policy
{
  "policy": {
    "phases": {
      "delete": {
        "min_age": "1m",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

#生命周期策略默认10分钟检测一次

bash 复制代码
PUT /_cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval":"10m"
  }
}

通过kibana操作:



查看索引汇总:

自动给索引添加删除策略

因为索引是按照日期生成的,所以自动给它加上删除策略




相关推荐
IT枫斗者7 分钟前
如何解决Java EasyExcel 导出报内存溢出
java·服务器·开发语言·网络·分布式·物联网
爱编程的小生8 分钟前
Easyexcel(4-模板文件)
java·excel
求积分不加C10 分钟前
Kafka怎么发送JAVA对象并在消费者端解析出JAVA对象--示例
java·分布式·kafka·linq
2401_8576363914 分钟前
实验室管理平台:Spring Boot技术构建
java·spring boot·后端
问窗18 分钟前
微服务中Spring boot的包扫描范围
java·spring boot·微服务
小黑屋说YYDS21 分钟前
ElasticSearch7.x入门教程之索引概念和基础操作(三)
elasticsearch
是程序喵呀34 分钟前
SpringMVC详解
java·spring·spring-mvc
疯一样的码农40 分钟前
Apache Maven 标准文件目录布局
java·maven·apache
Felix666yy1 小时前
设计模式之建造者模式
java
界面开发小八哥1 小时前
「Java EE开发指南」如何使用Visual JSF编辑器设计JSP?(一)
java·ide·java-ee·编辑器·myeclipse