ubuntu_定制文件系统[2]-清理日志log

1.问题现象

  1. 系统长时间运行, 产生大量的系统日志
    ubuntu/debian 系统日志如下
    /var/log$ du -sh *

31M syslog # syslog日志

61M syslog.1

2.5G journal/ # systemd service日志

  1. 当日志文件过大, 硬盘空间占用100%时, 导致各种异常
  • 命令按tab补全无响应
  • 服务/进程启动异常
  • 服务/进程运行异常

2.问题原因

  1. 系统日志过大原因: 使用ubuntu非官方发行版本
    1. 使用ubuntu桌面发行版,自带日志清理服务
    2. 项目使用的ubuntu-base 根文件, 定制根文件系统, 集成需要的工具,库,配置; 没有发行版本, 日志清理的服务
  2. 需要定制清除日志脚本

3.解决方案

  • 方案1: cron定时任务清理日志
  • 方案2: 开机服务脚本,周定时清理日志
  • 方案3: logrotate 管理日志大小,备份,清理

最终使用方案3, logrotate 管理日志大小,备份,清理, 符合项目开发与运行需求.

  1. cron清除日志,无法备份,无法追溯几天前的日志.
  2. 开机服务脚本, 要实现管理日志大小, 备份, 清理的功能. 浪费人力开发脚本, 不如 logrotate 配置方便.

4.logrotate安装与配置实例

安装前置依赖 sudo apt install cron rsyslog

安装 sudo apt instlal logrotate

教程 https://www.cnblogs.com/carsonzhu/p/16904219.html

1.教程

1. logrotate 主要参数表
2.系统默认的配置参考

ls /etc/logrotate.d

alternatives apt aptitude btmp dpkg pm-utils rsyslog wtmp

cat /etc/logrotate.d/rsyslog

复制代码
/var/log/syslog
{
	rotate 7
	daily
	missingok
	notifempty
	delaycompress
	compress
	postrotate
		/usr/lib/rsyslog/rsyslog-rotate
	endscript
}

/var/log/mail.info
/var/log/mail.warn
/var/log/mail.err
/var/log/mail.log
/var/log/daemon.log
/var/log/kern.log
/var/log/auth.log
/var/log/user.log
/var/log/lpr.log
/var/log/cron.log
/var/log/debug
/var/log/messages
{
	rotate 4
	weekly
	missingok
	notifempty
	compress
	delaycompress
	sharedscripts
	postrotate
		/usr/lib/rsyslog/rsyslog-rotate
	endscript
}

2.实例

1.手动logrotate运行测试

配置脚本

vim /etc/logrotate.d/liuj_tmp_log

复制代码
/tmp/liuj/*.log {
    size=50K
    daily
    rotate 5
    compress
    missingok
    notifempty
    create 664 liuj liuj
}

生成日志
cd /tmp/liuj; dd if=/dev/zero of=xxx.log bs=1M count=1
du -sh *

1.0M xxx.log

或用脚本生成日志.

手动整理日志
logrotate -vf /etc/logrotate.d/liuj_tmp_log

查看整理之后的结果 du -sh *

0 xxx.log

4.0K xxx.log.1.gz -->整理之后的文件大小

2.限制syslog大小

vim /etc/logrotate.d/rsyslog

diff 复制代码
/var/log/syslog
{
	rotate 7
	daily
++	size=50M
	missingok
	notifempty
	delaycompress
	compress
	postrotate
		/usr/lib/rsyslog/rsyslog-rotate
	endscript
}

3.管理ros程序日志

设置系统 ros 日志位置

/etc/profile.d/ros_env.sh

复制代码
source /opt/ros/noetic/setup.bash
export ROS_LOG_DIR=/userdata/workdir/ros_log

查看环境变量是否生效
echo $ROS_LOG_DIR

/userdata/workdir/ros_log

限制 ros 程序日志规则

vim /etc/logrotate.d/ros_log

复制代码
/userdata/workdir/ros_log/*.log
{
	rotate 5
	daily
	size=20M
	missingok
	notifempty
	delaycompress
	compress
	postrotate
		/usr/lib/rsyslog/rsyslog-rotate
	endscript
}

4.限制systemd service的日志大小

  • systemd service有自己的限制日志规则
    ls /var/log/journal/6d021ad1f019488facfc7e6e7ec8236f

system.journal

system@faa337787dbc4bd49fdcaa0ceea09a96-00000000000871b0-0006123fac856242.journal

system@583db54cb7cb466c9a3c7678bc0766f2-0000000000012a2c-00060f97925e7c17.journal

user-1000.journal

user-1000@b4fe8171a42f4f60a0a05c69bcfe1a5d-000000000009617d-0006124487b7d8a8.journal

user-1000@3ecd5eb819b04efb9e9bba24908511e4-0000000000083c8a-0006109ff49ba016.journal

目前使用的方案是:

  1. 使用logrotate限制 system.journal, user-1000.journal
  2. 使用cron定时任务 删除大于20M, 或超过7天的日志
  3. 服务进程每次重启时, 尝试步删除大于20M, 或超过7天的日志

5.总结

  1. ubunt桌面发行版有日志清理服务, 基于ubuntu-base定制文件系统固件, 需要自己编写清除日志脚本.
  2. logrotate是便捷的日志限制大小, 备份, 配置简单的管理工具.
  3. 磁盘空间占用100%, 会导致各种运行异常.
  4. 解决各种异常问题, 减少无效日志输出, 限制错误日志, 或通过配置选项开启调试模式. 减少磁盘/flash写操作, 延长产品寿命.

参考

  • logrotate原理:

/lib/systemd/system/logrotate.service

/lib/systemd/system/logrotate.timer


相关推荐
李少兄27 分钟前
CentOS系统下前后端项目部署攻略
linux·运维·centos
Two_brushes.3 小时前
【Linux】线程机制深度实践:创建、等待、互斥与同步
linux·运维·服务器·多线程
设计师小聂!5 小时前
Linux系统中部署Redis详解
linux·运维·数据库·redis
kfepiza5 小时前
Debian-10编译安装Mysql-5.7.44 笔记250706
linux·数据库·笔记·mysql·debian·bash
努力做小白6 小时前
Linux驱动11 --- buildroot&杂项驱动开发方法
linux·运维·驱动开发·单片机·嵌入式硬件
Sally璐璐7 小时前
Memcache核心技术解析与实战应用
运维·wpf·memcached
帽儿山的枪手7 小时前
追踪网络流量就这么简单 | 进阶篇 | conntrack
linux·windows·网络协议
哈哈浩丶7 小时前
Linux驱动开发1:设备驱动模块加载与卸载
linux·运维·驱动开发
Bulestar_xx7 小时前
20250711_Sudo 靶机复盘
linux·安全·web安全
一位搞嵌入式的 genius7 小时前
暑期自学嵌入式——Day01(C语言阶段)
linux·嵌入式c语言