elasticsearch索引按日期拆分

1.索引拆分原因

如果单个索引数据量过大会导致搜索变慢,而且不方便清理历史数据。

例如日志数据每天量很大,而且需要定期清理以往日志数据。例如原索引为sc_all_system_log,现按天拆分索引sc_all_system_log20220902,sc_all_system_log20220903,sc_all_system_log20220904,并且定期清理五天前索引。

实现最终效果

2022.09.03日志数据存入sc_all_system_log20220903

2022.09.04日志数据存入sc_all_system_log20220904

数据虽然存入了不同的索引中,但是搜索却指向一个索引搜索

实现方法

一个索引名称搜索出多个索引数据,其实实现原理很简单就是利用索引别名,不同的索引可以指向同一个索引别名,我们搜索时只要搜索索引别名即可。

具体实现方法,按照下面顺序看下去

定时清理策略

利用ES的索引生命周期,清理几天前索引,所以创建时间超过七天之后会自动删除

创建策略,后面会用到。

c 复制代码
PUT _ilm/policy/policy_cktest_sc_system_log
{
  "policy": {
    "phases": {
      "delete": {
        "min_age": "7d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

创建索引模板

创建索引模板,索引模板主要是用来创建索引默认属性

c 复制代码
PUT _template/sc_all_system_log
{
    "order":0,
    "index_patterns":[
        // 创建索引时,索引名称以这个为前缀时,默认使用此模板
        "sc_all_system_log*"
    ],
    "settings":{
        "index":{
			"refresh_interval": "10s",
            "number_of_shards":"5",
            "number_of_replicas":"1",
			"lifecycle":{
				// 前面创建的索引定时清理策略,创建的索引会使用此清理策略
				"name":"policy_cktest_sc_system_log"
			}
        }
    },
    "mappings":{
        "_doc":{
            "properties":{
                "version":{
					"type":"keyword",
					"index":"false"
                },
				"timestamp":{
					"type" : "date",
					"format" : "8uuuu-MM-dd HH:mm:ss.SSS"
                },
				"message":{
					"type":"text",
					"analyzer":"ik_smart",
					"search_analyzer":"ik_smart"
                },
				"level":{
					"type":"keyword"
                },
				"namespace":{
					"type":"keyword"
                },
				"appName":{
					"type":"keyword"
                },
				"traceId":{
					"type":"keyword"
                },
				"spanId":{
					"type":"keyword"
                },
				"ip":{
					"type":"keyword"
                },
				"tags":{
					"type":"object"
                }
            }
        }
    },
    "aliases":{
    	// 创建索引时指定的别名,很重要
        "sc_all_system_log":{}
    }
}

插入数据自动创建索引

这里我们指定的索引名称sc_all_system_log20220903,无此索引时会自动创建索引,创建索引时发现是以sc_all_system_log为前缀会默认使用上面的模板创建。所以索引sc_all_system_log20220903指向的别名是sc_all_system_log

c 复制代码
// 2022.09.03插入一条记录,创建sc_all_system_log20220903索引
POST /sc_all_system_log20220903/_doc
{
  "version":"1",
  "timestamp":"2022-09-03 17:50:00.000",
  "message":"程序异常请联系管理员处理",
  "level":"info",
  "namespace":"sc-test",
  "appName":"sc-test",
  "traceId":"123456789",
  "spanId":"123456789",
  "ip":"127.0.0.1",
  "tags":{
    "key1":"value1",
    "key2":"value2",
    "key3":"value3"
  }
}
// 2022.09.04插入一条记录,创建sc_all_system_log20220904索引
POST /sc_all_system_log20220904/_doc
{
  "version":"1",
  "timestamp":"2022-09-03 17:50:00.000",
  "message":"程序异常请联系管理员处理,测试4",
  "level":"info",
  "namespace":"sc-test",
  "appName":"sc-test",
  "traceId":"123456789",
  "spanId":"123456789",
  "ip":"127.0.0.1",
  "tags":{
    "key1":"value1",
    "key2":"value2",
    "key3":"value3"
  }
}

搜索时,我们只需要指向别名(sc_all_system_log)搜索即可,如下图

相关推荐
wuyk55514 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
Elasticsearch21 小时前
Java4Shell 远程代码执行漏洞 - CVE-2026-114938
elasticsearch
Elasticsearch1 天前
哈利波特问答 Agent Builder + Workflow 教程
elasticsearch
Elasticsearch1 天前
复制、粘贴,即刻捕获:利用文本指纹识别检测电子邮件和生成式人工智能提示词中的数据泄露
elasticsearch
岳涛2 天前
考古|ES 0.90 的 _ttl 让文档到期自动删,2.0 起引擎只做引擎,5.0 清掉内置字段
elasticsearch
wuyk5552 天前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
岳涛2 天前
时序|ES 9.1 存下写坏的文档,响应码从 400 变成 201,写入端仍当它成功
elasticsearch
Elasticsearch2 天前
九条 ES|QL 查询,揭示你的 Foundry agent 的词元消耗去向
elasticsearch
顧棟3 天前
【ES实战】 索引模板「可追溯、可校验」:一种模板治理的工程化思路
java·数据库·elasticsearch
新*3 天前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移