centos celery 日志管理

celery经常会产生大量日志,长时间累计下来会对服务器造成一定的压力

1 配置 logrotate 进行日志拆分

logrotate 是 Linux 系统中常用的日志管理工具。我们将使用它来管理 Celery 的日志文件,确保日志文件不会无限增长,并定期拆分、归档和删除旧日志。

1.1 创建 logrotate 配置文件

在 /etc/logrotate.d/ 目录下创建一个专门为 Celery 日志配置的文件,例如 celery:

bash 复制代码
sudo nano /etc/logrotate.d/celery

1.2 编辑 celery 的 logrotate 配置

在该文件中,添加如下配置:

bash 复制代码
/var/log/celery/*.log {
    daily                        # 日志轮转频率,可选 weekly, monthly
    rotate 7                     # 保留多少个日志文件
    missingok                    # 忽略不存在的日志文件
    notifempty                   # 不处理空文件
    compress                     # 压缩轮转后的日志文件
    delaycompress                # 等到下一个轮转周期才压缩
    copytruncate                 # 在不关闭原始文件的情况下复制和截断
    dateext                      # 使用日期作为后缀
    su celery celery             # 确保日志文件所有者和权限正确
    create 0640 celery celery    # 创建新日志文件时设置权限和所有者
    postrotate
        systemctl reload celery  # 在日志轮转后重启或重新加载 Celery 服务
    endscript
}

1.3 配置解释:

  • daily:每天轮转日志,可以改为 weekly 或 monthly。
  • rotate 7:保留 7 个历史日志文件。
  • compress:压缩旧的日志文件以节省空间。
  • copytruncate:日志文件在轮转时截断,而不关闭 Celery 的日志写入句柄。这非常适合长时间运行的应用程序。
  • create 0640 celery celery:创建新的日志文件时,设置文件权限为 0640,所有者为 celery 用户和组。

2. 测试 logrotate 配置

为了确保你的 logrotate 配置文件工作正常,你可以手动运行 logrotate 进行测试:

bash 复制代码
sudo logrotate -f /etc/logrotate.d/celery

这将强制运行 logrotate 并立即对 Celery 日志进行轮转处理。你可以检查 /var/log/celery/ 目录下的日志文件,确认它们是否按预期被分割和压缩。

3. 确保 Celery 用户和日志目录权限

为了避免权限问题,确保 Celery 日志目录和日志文件的所有者和权限设置正确。假设你使用的是 celery 用户,设置目录和文件权限如下:

bash 复制代码
sudo chown -R celery:celery /var/log/celery
sudo chmod 755 /var/log/celery

4. 定期执行 logrotate

logrotate 是通过 cron 服务自动运行的。默认情况下,它每天都会检查配置并根据需要进行日志轮转。如果你想手动检查 cron 任务,可以运行:

bash 复制代码
sudo cat /etc/cron.daily/logrotate

CentOS 会根据配置对 Celery 日志进行定期拆分处理。

相关推荐
kyle~1 小时前
嵌入式 SoC 系统
linux·c++·嵌入式·计算系统
tianyuanwo2 小时前
PostgreSQL 部署运维实战总结:从安装踩坑到生产可用
运维·数据库·postgresql
Decay__3 小时前
SQLServer 优化案例集 —— 慢 SQL 优化、索引重构与参数调整收益对比
运维·数据库·sql·mysql·架构
人生!?3 小时前
Linux 从入门到进阶 | 基础语法
linux·笔记·教程
优化Henry4 小时前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd
心之王者7165 小时前
Linux 进程信号:从产生、阻塞到捕捉与子进程回收
linux·服务器·网络
AndreaYYmm5 小时前
日志里 grep 到 Fail 就判失败?这六个假阳性我全踩过
linux·shell
manageengine5 小时前
服务器 CPU 100% 怎么排查:8 条命令从现象定位到根因
运维·服务器·cpu
分布式存储与RustFS5 小时前
RustFS 分片上传怎么配:大文件断点续传的最小可验证流程
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
爱吃香菜的初学者6 小时前
二十五.Linux——epoll
linux·运维·服务器