Linux日志文件切割的6种方法

1. logrotate命令

logrotate是linux系统自带的日志文件管理工具,通过配置文件和定时任务配合来实现系统日志文件的管理,如日志周期滚动切割、删除旧日志及生成新日志等。

logrotate的配置文件在/etc/logrotate.conf和/etc/logrotate.d/目录下,配置文件中我们可以设置日志滚动周期、后缀名、转储目录等。logrotate命令格式:

bash 复制代码
logrotate [-?dfv][-s <状态文件>][--usage][配置文件]

选项:

-d,--debug  详细显示指令执行过程,便于排错或了解程序执行的情况。

-f,--force  根据设置强制执行日志切割操作

-m,--mail=command 压缩日志后,发送日志到指定邮箱

-s<状态文件>或--state=<状态文件>  使用指定的状态文件。

-v 或--version  显示指令执行过程。

-usage  显示指令基本用法。

-?或--help  命令帮助

logrotate由系统定时执行日志文件的切割,但也可以手工强制执行,设置好配置文件后通过执行命令:

bash 复制代码
logrotate -f configfile

logrotate详细使用可参考:logrotate - Linux命令手册

2. split命令

split命令用于将一个大文件分割成很多个小文件,可以按行数、或文件大小分割。命令格式:

bash 复制代码
split [-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]

示例:将log.log文件切割,每个文件10m,新文件名以log+顺序数字组合

bash 复制代码
split -d -b 10M log.log log

3.python脚本实现

利用filesplit包可以轻松实现文件拆分,先安装依赖包pip install filesplit, 代码如下:

python 复制代码
from filesplit.split import Split

fp=Split(inputfile="D:\\datacenter\\prod_dict.txt",outputdir="D:\\datacenter")
# 按行拆分
# fp.bylinecount(500)
# 按大小拆分
fp.bysize(size=15*1024,newline=True)

可以看到,以上代码非常简单就实现的文件拆分,有兴趣的可以在此基础上加入命令行参数解析封装一个python版本的split命令

4. sed命令

sed命令本身不具备拆分文件的功能,但我们可以通过重定向将内容输出

bash 复制代码
sed -n '1,10p' file.txt > file1.txt
sed -i '1,10d' file.txt

第一个命令是将提取1-10行内容输出到file1.txt中,第二个命令是将原文件的1-10行删除。可以看出sed切割文件并不是很多方便,且只对文本文件适合

5. awk命令

bash 复制代码
awk '{if (NR<1000) print $0}' 文件名称 > 新文件名称

awk '{if (NR>=1000) print $0}' 文件名称 > 新文件名称 

6. dd命令

bash 复制代码
dd bs=1M count=50 if=文件名称 of=新文件名称

bs代表数据块的大小,count表示复制的块数,if表示输入文件,of表示输出文件

相关推荐
dingdingfish4 小时前
TLPI 第52章 读书笔记:POSIX Message Queues
linux·mq·ipc·posix·message·tlpi
wacsii5 小时前
【Linux进程(五)】进程控制全解析:从创建、终止、等待到程序替换
linux·服务器
七夜zippoe5 小时前
Nexent Linux 部署:用 deploy.sh
linux·服务器·docker·部署·ai智能体·nexent
去码头整点薯条986 小时前
NFS服务器
linux·运维·服务器
蜗牛一步步往上爬6 小时前
第一章 初识Linux shell
linux·运维·服务器
拂拉氏7 小时前
【知识讲解】 Linux线程中锁的认识
linux·互斥锁
无足鸟ICT7 小时前
【RHCA+】系统调优配置文件
linux·服务器
时间的拾荒人9 小时前
Shell 脚本核心语法详解(下篇):流程控制、函数、重定向与文件包含
linux·运维·服务器·bash·脚本编程
蜗牛一步步往上爬9 小时前
第四章 更多的bash shell命令
linux·开发语言·bash