信创环境ES索引管理脚本:close, delete

背景

elastic-curator在信创环境无现成安装包,且现成一般无法联网,此时通过脚本管理es索引是最佳选择。

1, 脚本内容: es-close-del.sh

bash 复制代码
[root@myprojtest001 ]# cat es-close-del.sh
#/bin/bash

#elastic地址
ELASTIC_URL=127.0.0.1:9200
#默认的删除时间
DELETE_MONTH=6
#默认的关闭时间
CLOSE_MONTH=1
#默认index
#INDEX_NAME=s_awqed_
INDEX_NAME=
ES_USER_PWD=elastic:123456

#索引列表:例如 cs_myproj_2024 , qqq_myproj_2024_01, test_myproj_2024_01_03
INDEX_MSG=`curl  -s -u "$ES_USER_PWD" -XGET ${ELASTIC_URL}/_cat/indices | grep _myproj_ `
if [[ -z $INDEX_NAME ]] ; then
  INDEX_OPEN=`echo "$INDEX_MSG" |grep open | awk '{print $3}' | sort`
else
  INDEX_OPEN=`echo "$INDEX_MSG" |grep $INDEX_NAME | grep open | awk '{print $3}' | sort`
fi

#关闭索引的截止日期
CLOSE_DATE=`date -d "${CLOSE_MONTH} months ago" +%Y-%m-%d`
t_end_close=`date -d "${CLOSE_DATE}" +%s`

#删除索引的截止日期
DELETE_DATE=`date -d "${DELETE_MONTH} months ago" +%Y-%m-%d`
t_end_del=`date -d "${DELETE_DATE}" +%s`

#当前日期
t_end=`date +%s`
#遍历open的索引,判断是否应该关闭
for index in $INDEX_OPEN
do
    #获取索引日期
	#echo "-------$index--------"
	INDEX_DATE=$(echo $index|sed -E  's@([a-zA-Z0-9_-]+)_myproj_@@g' |sed 's@_@-@g')
	len1=${#INDEX_DATE} 

	#es按年存,设置为该年份的最后一个月截止 xx_2024 --> xx_2024_12_31
	if   [ $len1 -lt 5 ]; then
	    INDEX_DATE=$INDEX_DATE"-12-31"
	#es按月存,设置为该月份的最后一天截止 xx_2024_01 --> xx_2024_01_28
        elif [ $len1 -lt 10 ]; then  
	    INDEX_DATE=$INDEX_DATE"-28"
	fi
    t_start=`date -d "${INDEX_DATE}" +%s`
    x=$((t_end - t_start))

	##比截止日期早的数据
    #时间差几个月(不足1月就为0: 例如 24/30=0): 保证有1个月数据
    x2=$((x / 3600 /24 /30 -1 ))
    if [ ${t_start} -lt ${t_end_close} ] && [ $x2 -ge $CLOSE_MONTH  ]; then
            echo "close ${index} index"
            curl -u "$ES_USER_PWD" -XPOST ${ELASTIC_URL}/$index/_close
    fi
done


#删除
#遍历open的索引,判断是否应该删除
INDEX_ALL=`echo "$INDEX_MSG" |grep close | awk '{print $3}' | sort`
for index in $INDEX_ALL
do
    #获取索引日期
	#echo "-----$index--------"
	#INDEX_DATE=$(echo $index|sed -E  's@([a-zA-Z]_?)@@g'|sed 's@_@-@g')
	INDEX_DATE=$(echo $index|sed -E  's@([a-zA-Z0-9_-]+)_myproj_@@g' |sed 's@_@-@g')
	len1=${#INDEX_DATE} 

	#es按年存,设置为该年份的最后一个月
	if   [ $len1 -lt 5 ]; then
	    INDEX_DATE=$INDEX_DATE"-12-31"
	#es按月存,设置为该月份的最后一天
        elif [ $len1 -lt 10 ]; then  
	    INDEX_DATE=$INDEX_DATE"-28"
	fi
    t_start=`date -d "${INDEX_DATE}" +%s`
    x=$((t_end - t_start))

	##比截止日期早的数据
    #时间差几个月(不足1月就为0: 例如 24/30=0): 保证有1个月数据
    x2=$((x / 3600 /24 /30 -1))
    if [ ${t_start} -lt ${t_end_del} ] && [ $x2 -ge $DELETE_MONTH  ]; then
            echo "delete ${index} index"
            curl -u "$ES_USER_PWD" -XDELETE ${ELASTIC_URL}/$index
    fi
done

1, 脚本执行验证

bash 复制代码
[root@myprojtest001 ]# cat es-close-del.sh
close monitor_myproj_2023_09_07 index
{"acknowledged":true,"shards_acknowledged":true,"indices":{"monitor_myproj_2023_09_07":{"closed":true}}}

delete monitor_myproj_2023_09_07 index
{"acknowledged":true}
相关推荐
Elastic 中国社区官方博客12 小时前
在 Windows 上使用 Docker 运行 Elastic Open Crawler
大数据·windows·爬虫·elasticsearch·搜索引擎·docker·容器
Britz_Kevin18 小时前
从零开始的云计算生活——第三十三天,关山阻隔,ELK日志分析
elasticsearch·#elk·#logstash·#kibana
Elasticsearch18 小时前
AI 驱动的仪表板:从愿景到 Kibana-CSDN博客
elasticsearch
EmpressBoost2 天前
docker run elasticsearch 报错
elasticsearch·docker·容器
不平衡的叉叉树2 天前
ES组合使用must与should时的注意事项
elasticsearch
小阳睡不醒2 天前
小白成长之路-Elasticsearch 7.0 配置
大数据·elasticsearch·excel
极限实验室2 天前
Console 纳管 Elasticsearch 9(二):日志监控
数据库·elasticsearch
Roc-xb2 天前
如何关闭Elasticsearch的安全认证的解决方法
java·elasticsearch
TinpeaV3 天前
Elasticsearch8 Windows安装教程
windows·spring boot·后端·elasticsearch
舒一笑3 天前
Elasticsearch 的模糊查询相关概念
elasticsearch