Linux日志文件切割的6种方法

1. logrotate命令

logrotate是linux系统自带的日志文件管理工具,通过配置文件和定时任务配合来实现系统日志文件的管理,如日志周期滚动切割、删除旧日志及生成新日志等。

logrotate的配置文件在/etc/logrotate.conf和/etc/logrotate.d/目录下,配置文件中我们可以设置日志滚动周期、后缀名、转储目录等。logrotate命令格式:

bash 复制代码
logrotate [-?dfv][-s <状态文件>][--usage][配置文件]

选项:

-d,--debug  详细显示指令执行过程,便于排错或了解程序执行的情况。

-f,--force  根据设置强制执行日志切割操作

-m,--mail=command 压缩日志后,发送日志到指定邮箱

-s<状态文件>或--state=<状态文件>  使用指定的状态文件。

-v 或--version  显示指令执行过程。

-usage  显示指令基本用法。

-?或--help  命令帮助

logrotate由系统定时执行日志文件的切割,但也可以手工强制执行,设置好配置文件后通过执行命令:

bash 复制代码
logrotate -f configfile

logrotate详细使用可参考:logrotate - Linux命令手册

2. split命令

split命令用于将一个大文件分割成很多个小文件,可以按行数、或文件大小分割。命令格式:

bash 复制代码
split [-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]

示例:将log.log文件切割,每个文件10m,新文件名以log+顺序数字组合

bash 复制代码
split -d -b 10M log.log log

3.python脚本实现

利用filesplit包可以轻松实现文件拆分,先安装依赖包pip install filesplit, 代码如下:

python 复制代码
from filesplit.split import Split

fp=Split(inputfile="D:\\datacenter\\prod_dict.txt",outputdir="D:\\datacenter")
# 按行拆分
# fp.bylinecount(500)
# 按大小拆分
fp.bysize(size=15*1024,newline=True)

可以看到,以上代码非常简单就实现的文件拆分,有兴趣的可以在此基础上加入命令行参数解析封装一个python版本的split命令

4. sed命令

sed命令本身不具备拆分文件的功能,但我们可以通过重定向将内容输出

bash 复制代码
sed -n '1,10p' file.txt > file1.txt
sed -i '1,10d' file.txt

第一个命令是将提取1-10行内容输出到file1.txt中,第二个命令是将原文件的1-10行删除。可以看出sed切割文件并不是很多方便,且只对文本文件适合

5. awk命令

bash 复制代码
awk '{if (NR<1000) print $0}' 文件名称 > 新文件名称

awk '{if (NR>=1000) print $0}' 文件名称 > 新文件名称 

6. dd命令

bash 复制代码
dd bs=1M count=50 if=文件名称 of=新文件名称

bs代表数据块的大小,count表示复制的块数,if表示输入文件,of表示输出文件

相关推荐
颇有几分姿色3 分钟前
深入理解 Linux 内存管理:free 命令详解
linux·运维·服务器
AndyFrank33 分钟前
mac crontab 不能使用问题简记
linux·运维·macos
筱源源1 小时前
Kafka-linux环境部署
linux·kafka
算法与编程之美1 小时前
文件的写入与读取
linux·运维·服务器
xianwu5432 小时前
反向代理模块
linux·开发语言·网络·git
Amelio_Ming2 小时前
Permissions 0755 for ‘/etc/ssh/ssh_host_rsa_key‘ are too open.问题解决
linux·运维·ssh
Ven%3 小时前
centos查看硬盘资源使用情况命令大全
linux·运维·centos
TeYiToKu4 小时前
笔记整理—linux驱动开发部分(9)framebuffer驱动框架
linux·c语言·arm开发·驱动开发·笔记·嵌入式硬件·arm
dsywws4 小时前
Linux学习笔记之时间日期和查找和解压缩指令
linux·笔记·学习
yeyuningzi4 小时前
Debian 12环境里部署nginx步骤记录
linux·运维·服务器