Linux:apache优化(7)—— 日志分割|日志合并

**作用:**随着网站访问量的增加,访问日志中的信息会越来越多, Apache 默认访问日志access_log单个文件会越来越大,日志文件体积越大,信息都在一个文件中,查看及分析信息会及不方便。


分割

实现方式:

1.利用 apache 自带的日志轮循程序 rotatelogs

复制代码
ErrorLog "|rotatelogs 命令的绝对路径 -l logs/error_%Y%m%d_%H%M%S.log 秒数"

CustomLog "| rotatelogs 命令的绝对路径-l logs/access_%Y%m%d_%H%M%S.log 秒数"

Combined

2.利用一个发展已经比较成熟的日志轮循工具 cronolog

复制代码
ErrorLog "|cronolog 绝对路径 -l /usr/local/httpd/logs/error_%Y%m%d%H%M%S.log "

CustomLog "|cronnolog绝对路径 -l /usr/local/httpd/logs/access_%Y%m%d%H%M%S.log" combined

3.利用定时任务和 shell 脚本做日志切割

方式一: 利用 apache 自带的日志轮循程序 rotatelogs日志分割:

root@linuxa \~\]# vi /usr/local/httpd/conf/httpd.conf ##10秒切割一次日志文件(切割日志时间频率可以自行改变,根据PV来决定,),-l选项是小写的L表示local time(本地时间) 215行插入 CustomLog "|/usr/local/httpd/bin/rotatelogs -l /usr/local/httpd/logs/access_%Y%m%d%H%M%S.log 10" combined :wq *** ** * ** *** **方式二:**利用一个发展已经比较成熟的日志轮循工具 cronolog \[root@linuxa \~\]# tar xf cronolog-1.6.2.tar.gz -C /usr/src/ \[root@linuxa \~\]# cd /usr/src/cronolog-1.6.2/ \[root@linuxa cronolog-1.6.2\]# ./configure \&\& make \&\& make install \[root@linuxa cronolog-1.6.2\]# cd \[root@linuxa \~\]# which cronolog /usr/local/sbin/cronolog \[root@linuxa \~\]# vi /usr/local/httpd/conf/httpd.conf ##可以跟据文件名中的变量来设置分割的频率,Y表示四位年份、m表示月份、d表示月份中的天数 213行 CustomLog "|usr/local/sbin/cronolog /usr/local/httpd/logs/access_%Y%m%d.log" combined :wq \[root@linuxa \~\]# /usr/local/httpd/bin/apachectl restart \[root@linuxa \~\]# ls /usr/local/httpd/logs/ access_20171206.log access_log error_log httpd.pid *** ** * ** *** **方式三:**脚本完成(定期移动httpd日志文件,并且保存期限为30天): \[root@linuxa \~\]# vi /opt/cut_httpd_log.sh #!/bin/bash logpath="/usr/local/httpd/logs" datetime=$(date -d "-1 day" "+%Y%m%d") \[ -d $logpath/backup \] \|\| mkdir $logpath/backup mv $logpath/access_log $logpath/backup/access_log-$datetime /usr/local/httpd/bin/apachectl graceful ##重新加载apache的配置,不会中断请求 find $logpath/backup/ -mtime +30 \| xargs rm --f find /usr/local/httpd/logs/backup/ -type f -mtime +30 -exec rm -rf {} \\; \[root@linuxa \~\]# chmod +x /opt/cut_httpd_log.sh \[root@linuxa \~\]# echo "00 00 \* \* \* /bin/bash /opt/cut_httpd_log.sh \&\> /dev/null" \>\>/var/spool/cron/root \[root@linuxa \~\]# service crond restart

当成功分割之后如果要进行合并


合并

可以将每个服务器每天的日志文件通过 rsync 下载到专门进行访问统计分析的服务器上进行合并。合并多个服务器的日志文件,例如: log1 log2 log3 并输出到 log_all 中的方法是:

复制代码
sort  -k 4 -o log_all access_log1 access_log2 access_log3

-m 使用 merge 优化算法

-t 指定排序的分割符

-k 4 指定排序时行中多列时,排序的依据列为哪列,表示根据时间进行排序

-o 表示将排序结果存放到指定的文件中

所以这里使用

复制代码
sort -k 4 -o accessall access_20240102051040.log  access_20240102051050.log  
相关推荐
szxinmai主板定制专家1 分钟前
【飞腾AI加固服务器】全国产化飞腾+昇腾310+PCIe Switch的AI大模型服务器解决方案
运维·服务器·arm开发·人工智能·fpga开发
点击查询4 分钟前
怎么把自己电脑设置成服务器?
运维·服务器
阿里云大数据AI技术18 分钟前
ES Serverless 8.17王牌发布:向量检索「火力全开」,智能扩缩「秒级响应」!
大数据·运维·serverless
yzx99101320 分钟前
Linux 系统中的算法技巧与性能优化
linux·算法·性能优化
fengyehongWorld20 分钟前
Linux Docker的简介
linux·docker
wanhengidc21 分钟前
服务器中日志分析的作用都有哪些
运维·服务器
Mikhail_G1 小时前
Python应用变量与数据类型
大数据·运维·开发语言·python·数据分析
曹瑞曹瑞1 小时前
VMware导入vmdk文件
linux·运维·服务器
Johny_Zhao1 小时前
2025年6月Docker镜像加速失效终极解决方案
linux·网络·网络安全·docker·信息安全·kubernetes·云计算·containerd·yum源·系统运维
hello kitty w1 小时前
Python学习(7) ----- Python起源
linux·python·学习