提取log文件中的数据,画图

  1. 要提取的log格式如下:

  1. 代码如下:

python 复制代码
import re

import matplotlib.pyplot as plt
import numpy as np

import argparse
from os import path
from re import search


class DataExtractor(object):
    ''' DataExtrator class '''

    def __init__(self, infile, keyword, outfile):
        '''
        构造函数

        infile:输入文件名
        keyword:目标数据前面的关键字
        outfile:输出文件名
        '''

        self.infile = infile
        self.keyword = keyword
        self.outfile = outfile

    def data_after_keyword(self):
        ''' Extract data from infile after the keyword. '''

        try:
            data = []
            patt = '%s:\s*(\d+\.?\d+)' % self.keyword  # 使用正则表达式搜索数据,关键字冒号,有空格或者没有空格,  小数点前后的数字
            with open(self.infile, 'r') as fi:
                with open(self.outfile, 'w') as fo:
                    for eachLine in fi:
                        s = search(patt, eachLine)
                        if s is not None:
                            fo.write(s.group(1) + '\n')
                            data.append(float(s.group(1)))
            return data
        except IOError:
            print(
                "Open file [%s] or [%s] failed!" % (self.infile, self.outfile))
            return False


if __name__ == "__main__":

    names = ['train loss', 'train psnr', 'iter_time', 'data_time', 'epoch time']
    file = r'D:\512_bs4_20230922_182434.log'
    fileout = file[:-4] + '_out.log'

    dd = dict()
    for name in names:
        extractor = DataExtractor(file, name, fileout)
        dd[name] = extractor.data_after_keyword()
    print(dd)

    x = range(len(dd[names[0]]))
    plt.figure()
    plt.subplot(131)
    plt.plot(x, dd[names[0]], 'r')
    plt.subplot(132)
    plt.plot(x, dd[names[1]], 'r')
    plt.subplot(133)
    plt.plot(x, dd[names[2]], 'g', x, dd[names[3]], 'b')
    plt.show()
  1. 得到结果

参考:

https://blog.csdn.net/guo_qingxia/article/details/113979135

https://blog.csdn.net/letian3658/article/details/105882965

相关推荐
kyle~3 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端
aiotto资源分享3 小时前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
梯度下降者4 小时前
Python信号量,条件变量,事件学习
python·条件变量·事件·信号量·线程通信
MSTcheng.4 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
the局外人5 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
__underline__5 小时前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python
用户0332126663676 小时前
使用 Python 轻松移除 Excel 文档中的重复行
python·excel
LiaoWL1236 小时前
从零搭一个 RAG 知识库(二):换上语义 Embedding——BGE 实测与阈值重校准
python·大模型·numpy·embedding·向量检索·rag
Dmz丶6 小时前
前端转 AI 100 天 Day 48:向量数据库——100 万向量的毫秒级检索
python
青少儿编程课堂6 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:中国剩余定理解析
c++·python·算法·bfs·信息学竞赛