将txt转成excel正则化公式的调整

将训练的结果转换成excel是送到画图的关键,但是在转的过程中出现了问题,发现是正则化公式的结果。

使用网站进行调试,最终可以转了。下面是调试的工具以及调试好的代码。

regex101: build, test, and debug regex

上面是正则化公式,下面是他的txt文件中的格式,要对应好才能转换。最后调好了,是没加空格的问题。

复制代码
import re
import pandas as pd

# 读取日志文件
log_file = r"origin\原始\20241102_191949.txt"  # 替换为你的日志文件路径
with open(log_file, "r", encoding="utf-8") as f:
    lines = f.readlines()

# 初始化存储数据的列表
data = []

# 正则表达式提取数据
pattern = r"\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3} - pyskl - INFO - Epoch \[(\d+)\]\[(\d+)\/(\d+)\]\s+lr: ([\d.e+-]+),\s+eta: ([\d\w\s:,]+),\s+time: ([\d.]+),\s+data_time: ([\d.]+),\s+memory: ([\d]+),\s+top1_acc: ([\d.]+),\s+top5_acc: ([\d.]+),\s+loss_cls: ([\d.]+),\s+loss: ([\d.]+),\s+grad_norm: ([\d.]+)"

# 解析日志文件
for line in lines:
    print(f"Processing line: {line.strip()}")  # 调试信息
    match = re.search(pattern, line)
    if match:
        print(f"Match found: {match.groups()}")  # 调试信息
        # 提取匹配的数据
        epoch = int(match.group(1))
        current_step = int(match.group(2))
        total_steps = int(match.group(3))
        lr = float(match.group(4))
        eta = match.group(5)
        time = float(match.group(6))
        data_time = float(match.group(7))
        memory = int(match.group(8))
        top1_acc = float(match.group(9))
        top5_acc = float(match.group(10))
        loss_cls = float(match.group(11))
        loss = float(match.group(12))
        grad_norm = float(match.group(13))

        # 将数据添加到列表中
        data.append([epoch, current_step, total_steps, lr, eta, time, data_time, memory, top1_acc, top5_acc, loss_cls, loss, grad_norm])
    else:
        print("No match found")  # 调试信息

# 创建 DataFrame
columns = ["Epoch", "Current Step", "Total Steps", "Learning Rate", "ETA", "Time", "Data Time", "Memory", "Top1 Accuracy", "Top5 Accuracy", "Loss Cls", "Loss", "Grad Norm"]
df = pd.DataFrame(data, columns=columns)

# 保存为 Excel 文件
output_file = r"rigin\原始\20241102_191949.xlsx"  # 替换为你的输出文件路径
df.to_excel(output_file, index=False)

print(f"数据已保存到 {output_file}")
相关推荐
聚客AI17 分钟前
Embedding进化论:从Word2Vec到OpenAI三代模型技术跃迁
人工智能·llm·掘金·日新计划
weixin_3875456436 分钟前
深入解析 AI Gateway:新一代智能流量控制中枢
人工智能·gateway
im_AMBER1 小时前
学习日志05 python
python·学习
大虫小呓1 小时前
Python 处理 Excel 数据 pandas 和 openpyxl 哪家强?
python·pandas
聽雨2371 小时前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
哪 吒1 小时前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
想要入门的程序猿1 小时前
Qt写入excel
数据库·qt·excel
二川bro1 小时前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm1 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl2 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络