Mongodb 慢查询日志分析 - 1

Mongodb 慢查询日志分析

使用 mloginfo 处理过的日志会在控制台输出, 显示还是比较友好的.

但是如果内容较大, 就不方便查看了, 如果可以导入到 excel 就比较方便筛选/排序. 但是 mloginfo 并没有提供生成到 excel 的功能. 可以通过一个 python 脚本辅助生成:

py 复制代码
import pandas as pd
import re

# 定义文件路径
mloginfo_output_file = "mloginfo_output.txt"  # 假设已经保存了 mloginfo 的输出内容
excel_output_file = "mloginfo_slow_queries.xlsx"

# 定义解析逻辑
def parse_mloginfo(file_path):
    parsed_data = []
    with open(file_path, "r", encoding="utf-8") as f:
        for line in f:
            # 跳过表头或空行
            if line.startswith("namespace") or not line.strip():
                continue
            # 用正则表达式解析每一行
            match = re.match(
                r'^(?P<namespace>\S+)\s+(?P<operation>\S+)\s+(?P<pattern>\{.*?\}|None)\s+(?P<count>\d+)\s+(?P<min_ms>\d+)\s+(?P<max_ms>\d+)\s+(?P<percentile_95>\d+\.?\d*)\s+(?P<sum_ms>\d+)\s+(?P<mean_ms>\d+\.?\d*)\s+(?P<allowDiskUse>\S+)',
                line
            )
            if match:
                parsed_data.append(match.groupdict())
    return parsed_data

# 调用解析逻辑
parsed_data = parse_mloginfo(mloginfo_output_file)

# 如果有数据,转换为 DataFrame 并保存为 Excel
if parsed_data:
    df = pd.DataFrame(parsed_data)
    # 转换数据类型(如数字列)
    numeric_columns = ["count", "min_ms", "max_ms", "percentile_95", "sum_ms", "mean_ms"]
    for col in numeric_columns:
        df[col] = pd.to_numeric(df[col])
    # 保存为 Excel 文件
    df.to_excel(excel_output_file, index=False)
    print(f"慢查询已成功保存到 {excel_output_file}")
else:
    print("未找到可解析的慢查询数据。")

以下是一个更加完成的, 可以在命令参数中执行日志文件:

py 复制代码
#!/usr/bin/env python
# -*- coding: utf-8 -*-

import os
import re
import pandas as pd
import argparse

# 设置命令行参数解析
parser = argparse.ArgumentParser(description="解析 mloginfo 输出并保存为 Excel")
parser.add_argument("log_file", type=str, help="mloginfo 输出文件路径")
args = parser.parse_args()

# Step 1: 运行 mloginfo 命令,捕获输出
log_file = args.log_file

output_file = f"{log_file}.txt"

excel_output_file = f"{log_file}.xlsx"

os.system(f"mloginfo {log_file} --queries > {output_file}")


# 定义解析逻辑
def parse_mloginfo(file_path):
    parsed_data = []
    with open(file_path, "r", encoding="utf-8") as f:
        for line in f:
            # 跳过表头或空行
            if line.startswith("namespace") or not line.strip():
                continue
            # 用正则表达式解析每一行
            match = re.match(
                    r'^(?P<namespace>\S+)\s+(?P<operation>\S+)\s+(?P<pattern>\{.*?\}|None)\s+(?P<count>\d+)\s+(?P<min_ms>\d+)\s+(?P<max_ms>\d+)\s+(?P<percentile_95>\d+\.?\d*)\s+(?P<sum_ms>\d+)\s+(?P<mean_ms>\d+\.?\d*)\s+(?P<allowDiskUse>\S+)',
                    line)
            if match:
                parsed_data.append(match.groupdict())
    return parsed_data


# 调用解析逻辑
parsed_data = parse_mloginfo(output_file)

# 如果有数据,转换为 DataFrame 并保存为 Excel
if parsed_data:
    df = pd.DataFrame(parsed_data)
    # 转换数据类型(如数字列)
    numeric_columns = [
        "count", "min_ms", "max_ms", "percentile_95", "sum_ms", "mean_ms"
    ]
    for col in numeric_columns:
        df[col] = pd.to_numeric(df[col])

    # 调整列顺序,将 pattern 列移到最后
    columns = [col for col in df.columns if col != "pattern"] + ["pattern"]
    df = df[columns]

    # 保存为 Excel 文件
    df.to_excel(excel_output_file, index=False)
    print(f"慢查询已成功保存到 {excel_output_file}")
else:
    print("未找到可解析的慢查询数据。")
相关推荐
夏末蝉未鸣0117 分钟前
python transformers笔记(TrainingArguments类)
python·自然语言处理·transformer
德育处主任Pro22 分钟前
「py数据分析」04如何将 Python 爬取的数据保存为 CSV 文件
数据库·python·数据分析
咸鱼鲸31 分钟前
【PyTorch】PyTorch中数据准备工作(AI生成)
人工智能·pytorch·python
许白掰41 分钟前
Linux入门篇学习——Linux 编写第一个自己的命令
linux·运维·数据库·嵌入式硬件·学习
打不了嗝 ᥬ᭄1 小时前
文件系统----底层架构
linux·运维·数据库
遇见你很高兴1 小时前
Pycharm中体验通义灵码来AI辅助编程
python
大虫小呓1 小时前
50个Python处理Excel示例代码,覆盖95%日常使用场景-全网最全
python·excel
大模型真好玩1 小时前
做题王者,实战拉跨!是时候给马斯克的Grok4泼盆冷水了!(Grok 4模型详细测评报告)
人工智能·python·mcp
羊八井1 小时前
使用 Earth2Studio 和 AI 模型进行全球天气预测:太阳辐照
pytorch·python·nvidia
向左转, 向右走ˉ1 小时前
PyTorch随机擦除:提升模型抗遮挡能力
人工智能·pytorch·python·深度学习