1. logrotate命令
logrotate是linux系统自带的日志文件管理工具,通过配置文件和定时任务配合来实现系统日志文件的管理,如日志周期滚动切割、删除旧日志及生成新日志等。
logrotate的配置文件在/etc/logrotate.conf和/etc/logrotate.d/目录下,配置文件中我们可以设置日志滚动周期、后缀名、转储目录等。logrotate命令格式:
bash
logrotate [-?dfv][-s <状态文件>][--usage][配置文件]
选项:
-d,--debug 详细显示指令执行过程,便于排错或了解程序执行的情况。
-f,--force 根据设置强制执行日志切割操作
-m,--mail=command 压缩日志后,发送日志到指定邮箱
-s<状态文件>或--state=<状态文件> 使用指定的状态文件。
-v 或--version 显示指令执行过程。
-usage 显示指令基本用法。
-?或--help 命令帮助
logrotate由系统定时执行日志文件的切割,但也可以手工强制执行,设置好配置文件后通过执行命令:
bash
logrotate -f configfile
logrotate详细使用可参考:logrotate - Linux命令手册
2. split命令
split命令用于将一个大文件分割成很多个小文件,可以按行数、或文件大小分割。命令格式:
bash
split [-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]
示例:将log.log文件切割,每个文件10m,新文件名以log+顺序数字组合
bash
split -d -b 10M log.log log
3.python脚本实现
利用filesplit包可以轻松实现文件拆分,先安装依赖包pip install filesplit, 代码如下:
python
from filesplit.split import Split
fp=Split(inputfile="D:\\datacenter\\prod_dict.txt",outputdir="D:\\datacenter")
# 按行拆分
# fp.bylinecount(500)
# 按大小拆分
fp.bysize(size=15*1024,newline=True)
可以看到,以上代码非常简单就实现的文件拆分,有兴趣的可以在此基础上加入命令行参数解析封装一个python版本的split命令
4. sed命令
sed命令本身不具备拆分文件的功能,但我们可以通过重定向将内容输出
bash
sed -n '1,10p' file.txt > file1.txt
sed -i '1,10d' file.txt
第一个命令是将提取1-10行内容输出到file1.txt中,第二个命令是将原文件的1-10行删除。可以看出sed切割文件并不是很多方便,且只对文本文件适合
5. awk命令
bash
awk '{if (NR<1000) print $0}' 文件名称 > 新文件名称
awk '{if (NR>=1000) print $0}' 文件名称 > 新文件名称
6. dd命令
bash
dd bs=1M count=50 if=文件名称 of=新文件名称
bs代表数据块的大小,count表示复制的块数,if表示输入文件,of表示输出文件