ZooKeeper日志自动清理实用脚本

ZooKeeper日志自动清理:保持系统整洁的实用脚本

在管理ZooKeeper集群时,定期清理日志文件是一项重要但常被忽视的任务。本文将介绍一个简单而有效的bash脚本,用于自动清理ZooKeeper的日志和快照文件,并讨论如何使用cron来定期执行此脚本。

磁盘告警,所以写了一个脚本 定期清理。

脚本内容

首先,让我们看看这个清理脚本的内容:

bash 复制代码
#!/bin/bash

#snapshot file dir
dataDir=/var/zookeeper/version-2
#tran log dir
dataLogDir=/var/zookeeper/version-2
logDir=/usr/local/zookeeper/logs
#Leave 60 files
count=60
count=$[$count+1]
ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f
ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f
ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f

脚本解析

让我们逐行分析这个脚本:

  1. #!/bin/bash: 这是shebang,指定使用bash解释器执行此脚本。

  2. 定义了三个目录变量:

    • dataDir: 存储快照文件的目录
    • dataLogDir: 存储事务日志的目录
    • logDir: 存储ZooKeeper日志的目录
  3. count=60: 设置保留的文件数量为60个。

  4. count=$[$count+1]: 将count增加1,这是为了在使用tail命令时正确计算要删除的文件数。

  5. 接下来的三行是清理逻辑的核心:

    bash 复制代码
    ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f
    ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f
    ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f

    每行都执行以下操作:

    • ls -t: 按时间顺序列出文件
    • tail -n +$count: 选择旧于前60个的所有文件
    • xargs rm -f: 删除这些文件

自动化执行

要自动执行这个脚本,我们可以使用cron。以下是一个cron表达式示例:

复制代码
2 2 * * * /bin/bash /data/www/cleanlog.sh > /dev/null 2>&1

这个cron表达式的含义是:

  • 每天凌晨2:02执行脚本
  • 脚本输出被重定向到/dev/null,不保存日志

结论

这个简单的脚本可以有效地管理ZooKeeper的日志和快照文件,防止磁盘空间被耗尽。通过cron自动化执行,可以确保系统始终保持整洁和高效。在实际部署时,请根据您的具体需求和环境调整脚本参数和执行频率。

相关推荐
失散131 小时前
分布式专题——4 大厂生产级Redis高并发分布式锁实战
java·redis·分布式·缓存·架构
eqwaak02 小时前
科技信息差(9.10)
网络·人工智能·分布式·ar·智能硬件
一个帅气昵称啊2 小时前
C#,RabbitMQ从入门到精通,.NET8.0(路由/分布式/主题/消费重复问题 /延迟队列和死信队列/消息持久化 )/RabbitMQ集群模式
分布式·微服务·架构·rabbitmq·.net
长相易乐2 小时前
RabbitMQ 教程
分布式·rabbitmq
月夕·花晨3 小时前
Gateway -网关
java·服务器·分布式·后端·spring cloud·微服务·gateway
失散133 小时前
分布式专题——6 Redis缓存设计与性能优化
java·redis·分布式·缓存·架构
zzhongcy5 小时前
分布式存储:RustFS与MinIO全面对比
分布式
一叶飘零_sweeeet9 小时前
从手写 Redis 分布式锁到精通 Redisson:分布式系统的并发控制终极指南
redis·分布式·redisson
在未来等你11 小时前
Kafka面试精讲 Day 13:故障检测与自动恢复
大数据·分布式·面试·kafka·消息队列
cui_win12 小时前
基于Golang + vue3 开发的 kafka 多集群管理
分布式·kafka