Linux日志文件切割的6种方法

1. logrotate命令

logrotate是linux系统自带的日志文件管理工具,通过配置文件和定时任务配合来实现系统日志文件的管理,如日志周期滚动切割、删除旧日志及生成新日志等。

logrotate的配置文件在/etc/logrotate.conf和/etc/logrotate.d/目录下,配置文件中我们可以设置日志滚动周期、后缀名、转储目录等。logrotate命令格式:

bash 复制代码
logrotate [-?dfv][-s <状态文件>][--usage][配置文件]

选项:

-d,--debug  详细显示指令执行过程,便于排错或了解程序执行的情况。

-f,--force  根据设置强制执行日志切割操作

-m,--mail=command 压缩日志后,发送日志到指定邮箱

-s<状态文件>或--state=<状态文件>  使用指定的状态文件。

-v 或--version  显示指令执行过程。

-usage  显示指令基本用法。

-?或--help  命令帮助

logrotate由系统定时执行日志文件的切割,但也可以手工强制执行,设置好配置文件后通过执行命令:

bash 复制代码
logrotate -f configfile

logrotate详细使用可参考:logrotate - Linux命令手册

2. split命令

split命令用于将一个大文件分割成很多个小文件,可以按行数、或文件大小分割。命令格式:

bash 复制代码
split [-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]

示例:将log.log文件切割,每个文件10m,新文件名以log+顺序数字组合

bash 复制代码
split -d -b 10M log.log log

3.python脚本实现

利用filesplit包可以轻松实现文件拆分,先安装依赖包pip install filesplit, 代码如下:

python 复制代码
from filesplit.split import Split

fp=Split(inputfile="D:\\datacenter\\prod_dict.txt",outputdir="D:\\datacenter")
# 按行拆分
# fp.bylinecount(500)
# 按大小拆分
fp.bysize(size=15*1024,newline=True)

可以看到,以上代码非常简单就实现的文件拆分,有兴趣的可以在此基础上加入命令行参数解析封装一个python版本的split命令

4. sed命令

sed命令本身不具备拆分文件的功能,但我们可以通过重定向将内容输出

bash 复制代码
sed -n '1,10p' file.txt > file1.txt
sed -i '1,10d' file.txt

第一个命令是将提取1-10行内容输出到file1.txt中,第二个命令是将原文件的1-10行删除。可以看出sed切割文件并不是很多方便,且只对文本文件适合

5. awk命令

bash 复制代码
awk '{if (NR<1000) print $0}' 文件名称 > 新文件名称

awk '{if (NR>=1000) print $0}' 文件名称 > 新文件名称 

6. dd命令

bash 复制代码
dd bs=1M count=50 if=文件名称 of=新文件名称

bs代表数据块的大小,count表示复制的块数,if表示输入文件,of表示输出文件

相关推荐
我言秋日胜春朝★43 分钟前
【Linux】进程地址空间
linux·运维·服务器
C-cat.1 小时前
Linux|环境变量
linux·运维·服务器
yunfanleo1 小时前
docker run m3e 配置网络,自动重启,GPU等 配置渠道要点
linux·运维·docker
糖豆豆今天也要努力鸭2 小时前
torch.__version__的torch版本和conda list的torch版本不一致
linux·pytorch·python·深度学习·conda·torch
烦躁的大鼻嘎2 小时前
【Linux】深入理解GCC/G++编译流程及库文件管理
linux·运维·服务器
ac.char2 小时前
在 Ubuntu 上安装 Yarn 环境
linux·运维·服务器·ubuntu
敲上瘾2 小时前
操作系统的理解
linux·运维·服务器·c++·大模型·操作系统·aigc
长弓聊编程2 小时前
Linux系统使用valgrind分析C++程序内存资源使用情况
linux·c++
cherub.2 小时前
深入解析信号量:定义与环形队列生产消费模型剖析
linux·c++
梅见十柒3 小时前
wsl2中kali linux下的docker使用教程(教程总结)
linux·经验分享·docker·云原生