python定时删除指定索引

脚本

python 复制代码
import logging
from datetime import datetime, timedelta
from elasticsearch import Elasticsearch

# 配置日志记录
logging.basicConfig(
    filename='delete_uat_indices.log',
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s'
)

# Elasticsearch 集群的连接信息
ELASTICSEARCH_HOST = "http://192.178.18.209:9200"  # 修改为你的 Elasticsearch 地址
USERNAME = "elastic"  # 修改为你的用户名
PASSWORD = "7F9L%mYWjWtb"  # 修改为你的密码
INDEX_PATTERN = "*uat*"  # 匹配带有 "uat" 的索引

def delete_old_indices():
    # 连接到 Elasticsearch 集群
    es = Elasticsearch([ELASTICSEARCH_HOST], basic_auth=(USERNAME, PASSWORD))
    # 检查连接是否成功
    if not es.ping():
        logging.error("无法连接到 Elasticsearch 集群")
        return

    logging.info("成功连接到 Elasticsearch 集群")
    # 计算 5 天前的日期
    five_days_ago = datetime.now() - timedelta(days=2)
    date_str = five_days_ago.strftime('%Y.%m.%d')

    # 获取所有索引(确保使用关键字参数)
    try:
        indices = es.indices.get(index="*uat*")  # 使用关键字参数
    except Exception as e:
        logging.error(f"获取索引列表失败: {e}")
        return

    # 过滤出符合条件的索引
    indices_to_delete = []
    for index_name in indices.keys():
        if not index_name.startswith(".") and "uat" in index_name:
            # 提取索引名称中的日期部分
            try:
                index_date_str = index_name.split("-")[-1]  # 假设日期在索引名称的最后部分
                index_date = datetime.strptime(index_date_str, '%Y.%m.%d')
                if index_date < five_days_ago:
                    indices_to_delete.append(index_name)
            except Exception as e:
                logging.warning(f"无法解析索引名称 {index_name} 的日期部分: {e}")

    if not indices_to_delete:
        logging.info(f"未找到符合条件的索引: 包含 'uat' 且日期为 {date_str}")
        return

    # 删除符合条件的索引
    for index in indices_to_delete:
        try:
            es.indices.delete(index=index)
            logging.info(f"成功删除索引: {index}")
        except Exception as e:
            logging.error(f"删除索引 {index} 时失败: {e}")

if __name__ == "__main__":
    delete_old_indices()

定时任务

crontab -e

#每天23点30定时删除5天前的uat环境日志

30 23 * * * /usr/local/python-3.9/bin/python3.9 /data/delete_old_indices/delete_uat_old_indices.py >/dev/null 2>&1

相关推荐
北风toto30 分钟前
python学习DataFrame数据结构
数据结构·python·学习
亿牛云爬虫专家34 分钟前
微服务化采集平台:可扩展性与容错机制
python·微服务·架构·爬虫代理·扩展性·新浪财经·财经新闻
傻啦嘿哟1 小时前
Python爬虫动态IP代理报错全解析:从问题定位到实战优化
爬虫·python·tcp/ip
mit6.8241 小时前
[Meetily后端框架] Whisper转录服务器 | 后端服务管理脚本
c++·人工智能·后端·python
zhangfeng11331 小时前
python 数据分析 单细胞测序数据分析 相关的图表,常见于肿瘤免疫微环境、细胞亚群功能研究 ,各图表类型及逻辑关系如下
开发语言·python·数据分析·医学
柠檬豆腐脑1 小时前
Trae-Agent 内置工具深度解析
python·llm·agent
ydl11282 小时前
机器学习基础知识【 激活函数、损失函数、优化器、 正则化、调度器、指标函数】
python·机器学习
chao_7893 小时前
CSS表达式——下篇【selenium】
css·python·selenium·算法
倔强青铜三3 小时前
苦练Python第10天:for 循环与 range() 函数
人工智能·python·面试
5173 小时前
django中如何使用Django REST Framework
后端·python·django