python logging TimedRotatingFileHandler backupCount不生效问题解决

背景

在 python 开发过程中使用 logging 记录日志是很常见的做法;

但在一些情况下,由于使用 TimedRotatingFileHandler 按时间分割日志文件时设置的频率太高,

会导致 log 文件过多,从而难以查询日志结果,所以使用 backupCount 参数控制日志文件的数量。

但有时即便使用了 suffix 和 extMatch 匹配 log 文件分割时的后缀格式, backupCount 依然会不生效。

以下将记录此问题的解决过程。

错误案例

python 复制代码
import logging.handlers
import re

import datetime as dt
import time

# 格式控制器
formatter = logging.Formatter(fmt="%(asctime)s - %(levelname)s - %(filename)s[:%(lineno)d] - %(message)s")

# 定义日志处理器console_handler
console_handler = logging.StreamHandler()

# 3.设置处理器日志级别
console_handler.setLevel(logging.DEBUG)

# 给处理器传入格式器
console_handler.setFormatter(formatter)

# 添加TimedRotatingFileHandler
timed_handler = logging.handlers.TimedRotatingFileHandler(
    filename="log/nicole.log",
    when='S',  # S秒 M分 H时 D天 W周 按时间切割 测试选用S
    interval=30,
    backupCount=4,
    encoding="utf8"
)

# 设置后缀名称
timed_handler.suffix = "%Y-%m-%d_%H-%M-%S.log"
# 正则表达式 与 suffix 格式对应
timed_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}_\d{2}-\d{2}-\d{2}.log$")
timed_handler.setFormatter(formatter)

timed_handler.setLevel(logging.INFO)

# 创建一个日志记录器,就是一个logger对象
logger = logging.getLogger(__name__)

# 设置logger日志记录器的日志级别为DEBUG
logger.setLevel(logging.DEBUG)

# 把两个处理器添加到日志记录器中
logger.addHandler(console_handler)
logger.addHandler(timed_handler)

for i in range(1200):
    logger.info(dt.datetime.now())
    time.sleep(1)

在大部分使用过程中,会添加 console_handler 用于在控制台打印日志;添加 timed_handler 用于生产 .log 文件打印日志;

这里的重点是 timed_handler 对象的配置;

在一般情况下,为了 log 文件命名长度会使用 .suffix 配置后缀,然后使用 .extMatch 匹配需要控制数量的 .log 文件的后缀;

期望是 .extMatch 能删除数量超过 backupCount 的文件,但多次运行后,发现文件数量并没有被控制。

extMatch匹配验证

extMatch 正则表达式能够匹配到 生成后的日志后缀

修改后代码

python 复制代码
import logging.handlers
import re

import datetime as dt
import time

# 格式控制器
formatter = logging.Formatter(fmt="%(asctime)s - %(levelname)s - %(filename)s[:%(lineno)d] - %(message)s")

# 定义日志处理器console_handler
console_handler = logging.StreamHandler()

# 3.设置处理器日志级别
console_handler.setLevel(logging.DEBUG)

# 给处理器传入格式器
console_handler.setFormatter(formatter)

# 添加TimedRotatingFileHandler
timed_handler = logging.handlers.TimedRotatingFileHandler(
    filename="log/nicole.log",
    when='S',  # S秒 M分 H时 D天 W周 按时间切割 测试选用S
    interval=30,
    backupCount=4,
    encoding="utf8"
)

# -- 修改位置 将 suffix 和 extMatch 中的 .log 去掉,并仍然保持匹配--
# 设置后缀名称
timed_handler.suffix = "%Y-%m-%d_%H-%M-%S"
# 正则表达式 与 suffix 格式对应
timed_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}_\d{2}-\d{2}-\d{2}$")

timed_handler.setFormatter(formatter)

timed_handler.setLevel(logging.INFO)

# 创建一个日志记录器,就是一个logger对象
logger = logging.getLogger(__name__)

# 设置logger日志记录器的日志级别为DEBUG
logger.setLevel(logging.DEBUG)

# 把两个处理器添加到日志记录器中
logger.addHandler(console_handler)
logger.addHandler(timed_handler)

for i in range(1200):
    logger.info(dt.datetime.now())
    time.sleep(1)

去掉 suffix 和 extMatch里面 .log 代码重新运行,能够查看到文件数量被控制在 backupCount 内。

相关推荐
luckys.one3 小时前
第9篇:Freqtrade量化交易之config.json 基础入门与初始化
javascript·数据库·python·mysql·算法·json·区块链
大翻哥哥4 小时前
Python 2025:量化金融与智能交易的新纪元
开发语言·python·金融
zhousenshan5 小时前
Python爬虫常用框架
开发语言·爬虫·python
IMER SIMPLE6 小时前
人工智能-python-深度学习-经典神经网络AlexNet
人工智能·python·深度学习
CodeCraft Studio6 小时前
国产化Word处理组件Spire.DOC教程:使用 Python 将 Markdown 转换为 HTML 的详细教程
python·html·word·markdown·国产化·spire.doc·文档格式转换
专注API从业者7 小时前
Python/Java 代码示例:手把手教程调用 1688 API 获取商品详情实时数据
java·linux·数据库·python
java1234_小锋7 小时前
[免费]基于Python的协同过滤电影推荐系统(Django+Vue+sqlite+爬虫)【论文+源码+SQL脚本】
python·django·电影推荐系统·协同过滤
看海天一色听风起雨落7 小时前
Python学习之装饰器
开发语言·python·学习
XiaoMu_0018 小时前
基于Python+Streamlit的旅游数据分析与预测系统:从数据可视化到机器学习预测的完整实现
python·信息可视化·旅游
THMAIL8 小时前
深度学习从入门到精通 - 生成对抗网络(GAN)实战:创造逼真图像的魔法艺术
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·cnn