将txt转成excel正则化公式的调整

将训练的结果转换成excel是送到画图的关键,但是在转的过程中出现了问题,发现是正则化公式的结果。

使用网站进行调试,最终可以转了。下面是调试的工具以及调试好的代码。

regex101: build, test, and debug regex

上面是正则化公式,下面是他的txt文件中的格式,要对应好才能转换。最后调好了,是没加空格的问题。

复制代码
import re
import pandas as pd

# 读取日志文件
log_file = r"origin\原始\20241102_191949.txt"  # 替换为你的日志文件路径
with open(log_file, "r", encoding="utf-8") as f:
    lines = f.readlines()

# 初始化存储数据的列表
data = []

# 正则表达式提取数据
pattern = r"\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3} - pyskl - INFO - Epoch \[(\d+)\]\[(\d+)\/(\d+)\]\s+lr: ([\d.e+-]+),\s+eta: ([\d\w\s:,]+),\s+time: ([\d.]+),\s+data_time: ([\d.]+),\s+memory: ([\d]+),\s+top1_acc: ([\d.]+),\s+top5_acc: ([\d.]+),\s+loss_cls: ([\d.]+),\s+loss: ([\d.]+),\s+grad_norm: ([\d.]+)"

# 解析日志文件
for line in lines:
    print(f"Processing line: {line.strip()}")  # 调试信息
    match = re.search(pattern, line)
    if match:
        print(f"Match found: {match.groups()}")  # 调试信息
        # 提取匹配的数据
        epoch = int(match.group(1))
        current_step = int(match.group(2))
        total_steps = int(match.group(3))
        lr = float(match.group(4))
        eta = match.group(5)
        time = float(match.group(6))
        data_time = float(match.group(7))
        memory = int(match.group(8))
        top1_acc = float(match.group(9))
        top5_acc = float(match.group(10))
        loss_cls = float(match.group(11))
        loss = float(match.group(12))
        grad_norm = float(match.group(13))

        # 将数据添加到列表中
        data.append([epoch, current_step, total_steps, lr, eta, time, data_time, memory, top1_acc, top5_acc, loss_cls, loss, grad_norm])
    else:
        print("No match found")  # 调试信息

# 创建 DataFrame
columns = ["Epoch", "Current Step", "Total Steps", "Learning Rate", "ETA", "Time", "Data Time", "Memory", "Top1 Accuracy", "Top5 Accuracy", "Loss Cls", "Loss", "Grad Norm"]
df = pd.DataFrame(data, columns=columns)

# 保存为 Excel 文件
output_file = r"rigin\原始\20241102_191949.xlsx"  # 替换为你的输出文件路径
df.to_excel(output_file, index=False)

print(f"数据已保存到 {output_file}")
相关推荐
黎燃2 小时前
短视频平台内容推荐算法优化:从协同过滤到多模态深度学习
人工智能
TF男孩3 小时前
ARQ:一款低成本的消息队列,实现每秒万级吞吐
后端·python·消息队列
飞哥数智坊4 小时前
多次尝试用 CodeBuddy 做小程序,最终我放弃了
人工智能·ai编程
后端小肥肠4 小时前
别再眼馋 10w + 治愈漫画!Coze 工作流 3 分钟出成品,小白可学
人工智能·aigc·coze
唐某人丶7 小时前
教你如何用 JS 实现 Agent 系统(2)—— 开发 ReAct 版本的“深度搜索”
前端·人工智能·aigc
FIT2CLOUD飞致云8 小时前
九月月报丨MaxKB在不同规模医疗机构的应用进展汇报
人工智能·开源
阿里云大数据AI技术8 小时前
【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Next系列模型
人工智能
袁庭新8 小时前
全球首位AI机器人部长,背负反腐重任
人工智能·aigc
机器之心8 小时前
谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
人工智能·openai
该用户已不存在8 小时前
Mojo vs Python vs Rust: 2025年搞AI,该学哪个?
后端·python·rust